自動運転/End-to-End2026/9/17arXiv:2609.20756

OPTED: レンダリング不要な教師によるEnd-to-End自動運転のオンポリシー微調整

OPTED: On-Policy Fine-Tuning for End-to-End Driving using a Render-Free Teacher

強化学習で訓練した特権教師がベクトル入力から生徒モデルを閉ループで指導することで、シミュレータ操作を大幅に削減しつつEnd-to-End自動運転ポリシーを微調整する手法を提案。

詳しい要約

1. どんなもの？

- 自動運転向けのend-to-end driving policyのpost-training手法OPTEDを提案。 - 事前学習済みのcamera-basedモデルをclosed-loopでfine-tuneする。 - RLをprivileged teacherとstudentのpost-trainingに分離する。 - teacherはvectorized入力(HD-mapとbounding boxes)でRL学習。 - teacherがclosed-loop中にstudentへsupervisionを提供。 - TransFuserとVaVAMに適用し、AlpaSimでfine-tune。 - 実走行ログのneural reconstructions(3DGS)を使用。

2. 先行研究と比べてどこがすごい？

- 従来はopen loopのbehavior cloningで事前学習し、closed-loopでcompounding errorsが生じる。 - closed-loop post-trainingはsensor-based policyでは高コストなsimulationを要する。 - OPTEDはRLをteacherのvectorized入力学習に分離し、studentのpost-trainingをrender-freeにする。 - 直接RL post-trainingと比べ、約3桁少ないsimulator interactionsで同等のclosed-loop性能。 - 人間のpriorに近い状態を保つ。 - driving scoresがTransFuserで1.6倍、VaVAMで9.5倍に向上。

3. 技術・手法の肝は？

- privileged teacherをvectorized入力(HD-mapとbounding boxes)でRL学習。 - そのteacherが事前学習済みstudentへclosed-loop post-training中にsupervision。 - RLとend-to-end policyのpost-trainingをdecouple。 - sensor-based policyにrender-freeなteacherを提供。 - AlpaSimと実走行ログのneural reconstructions(3DGS)を利用。 - TransFuserとVaVAMの2つのcamera-basedモデルに適用。

4. どうやって有効だと検証した？

- TransFuserとVaVAMをAlpaSimでfine-tune。 - 実走行ログのneural reconstructions(3DGS)を使用。 - driving scoresがそれぞれ1.6倍と9.5倍に増加。 - 制御実験で直接RL post-trainingと比較。 - 約3桁少ないsimulator interactionsで同等のclosed-loop性能を達成。 - 人間のpriorに近いことを確認。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化性についての議論は要旨に記載なし。

6. 次に読むべき論文は？

- TransFuser - VaVAM - AlpaSim - 3DGS (neural reconstructions) - behavior cloning - reinforcement learning (RL) post-training - privileged teacher - vectorized inputs (HD-map, bounding boxes)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Damiano Da Col, Maximilian Igl, Peter Karkus, Kashyap Chitta, Boris Ivanovic, Marco Pavone, Konrad Schindler, Christos Sakaridis

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

As scaling pre-training data alone yields diminishing returns, post-training is becoming increasingly important across physical AI domains such as autonomous driving. End-to-end driving policies are pre-trained in open loop with behavior cloning on human demonstrations. However, compounding errors during closed-loop deployment can take the vehicle outside the training data distribution, increasing the risk of safety-critical incidents. Closed-loop post-training can mitigate this risk but requires costly simulation for sensor-based policies. We propose OPTED (on-policy fine-tuning for end-to-end driving) which decouples reinforcement learning from the post-training of the end-to-end policy: a privileged teacher is trained using RL on vectorized inputs (HD-map and bounding boxes). This teacher then provides supervision to the pre-trained student during closed-loop post-training. We apply OPTED to two camera-based models, TransFuser and VaVAM, and fine-tune them in AlpaSim, using neural reconstructions (3DGS) of real driving logs. Driving scores increase by factors of 1.6$\times$ and 9.5$\times$, respectively. In controlled experiments OPTED matches closed-loop performance with approximately three orders of magnitude fewer simulator interactions than direct RL post-training, while staying closer to the human prior. Project page: https://01dami23.github.io/opted/

arXivで原文を読む →arXiv概要ページ

OPTED: レンダリング不要な教師によるEnd-to-End自動運転のオンポリシー微調整

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文