自動運転ポリシー向け新フレームワークCRAFT、クローズドループ性能で成果

何が起きたか

2026年5月6日にarXivで公開された論文で、自動運転ポリシーのクローズドループ後訓練を目的としたCounterfactual-to-Interactive Reinforcement Fine-Tuning（CRAFT）が提案された。CRAFTは、オープンループ模倣学習で訓練されたポリシーを、クローズドループ環境で微調整するためのオン・ポリシーフレームワークである。

詳細

CRAFTは、クローズドループ後訓練をプロキシ残差最適化として定式化する。具体的には、グループ正規化された反実仮想アドバンテージを実クローズドループアドバンテージの密なプロキシとして用い、インタラクション臨界事象からの接地残差補正によりプロキシをクローズドループ世界に整合させる。さらに、EMA教師への非対称KL自己蒸留によりオンラインポリシーを正則化する。理論的には、実クローズドループポリシー勾配をプロキシ項と残差項に分解し、整合プロキシによる残差分散の低減と接地残差近似によるプロキシバイアスの緩和を実現する。実験では、Bench2Driveベンチマークで階層プランニング、視覚言語行動、語彙スコアリングの各アーキテクチャで最大のクローズドループ改善を達成したと報告されている。

Key Facts

本紙の見方

本提案は、自動運転ポリシーの後訓練における既存手法のトレードオフを解消する試みとして位置づけられる。従来のクローズドループRLは実行アクションからの接地フィードバックを提供するが、情報イベントの希少性に制約され、反実仮想微調整は候補未来への密な監視を提供するが、不完全な未来推定からのバイアスを継承する。CRAFTは、これらをプロキシ残差最適化として統合し、理論的にも実クローズドループ勾配を分解することで、両者の利点を組み合わせる。このアプローチは、自動運転ポリシーの実展開における分布シフト問題への対処として重要であり、特にシミュレーションから実世界への転換が課題となる中で、クローズドループ性能の向上は実用化に直結する。ただし、論文はシミュレーション環境（Bench2Drive）での評価に基づいており、実世界での有効性や、多様な運転シナリオでの汎化性は未検証である。また、CRAFTの計算コストや、大規模モデルへの適用可能性も今後の検証が待たれる。業界構造への含意としては、自動運転の開発プロセスにおいて、シミュレーションと実世界のギャップを埋める技術が競争力を左右する可能性があり、CRAFTのような手法はその一翼を担うとみられる。次に確認すべきは、実車両での実証実験や、より多様なデータセットでの性能評価、さらには計算効率の改善である。

なぜ重要か

自動運転技術の実用化には、シミュレーションで訓練されたポリシーが実世界の複雑な状況で安全に動作することが不可欠である。CRAFTは、クローズドループ性能を向上させることで、そのギャップを埋める可能性を秘めており、自動運転システムの信頼性向上に寄与する。また、この手法は、反実仮想と強化学習の統合という点で、他のロボティクス分野にも応用が期待される。