日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLMarXiv:2611.24719

実行時に推論を切り離せる柔軟で効率的な自動運転フレームワークDRIFT

DRIFT: Detachable Reasoning for Runtime-Flexible and Efficient End-to-End Driving

シェア:XThreadsFacebookLINEはてブBluesky

軽量言語モデルと代理推論特徴を組み合わせ、実行時に言語推論をオンオフしても性能を保てる省パラメータのEnd-to-End自動運転手法を提案した。

詳しい要約

1. どんなもの?

DRIFTは、end-to-end (E2E) 自動運転フレームワーク。軽量なlanguage model (LM) をvisual question answeringとaction commentaryに統合し、中間のdriving表現をlanguage embedding spaceへ効率的にprojectionすることで、150Mパラメータ未満のcompact LMでも強いscene descriptionとaction commentaryを実現する。さらに、LMからdistillしたsurrogate reasoning featuresで学習され、推論時にLMまたはsurrogate featuresのどちらかを条件として選べるruntime-flexible planning moduleを導入する。全体で255Mパラメータ。

2. 先行研究と比べてどこがすごい?

既存のVLMベースE2E運転は計算コストが高く、closed-loop性能を損なわずにlanguage reasoningをruntimeでon/offすることは示されていなかった。DRIFTはcompact LM (<150M) でscene descriptionとaction commentaryを達成し、LMを完全にbypassしても運転性能を犠牲にしないruntime-flexible設計を実現。255MパラメータでBench2DriveのDS 97.03、Success Rate 89.39% (3回平均) に到達し、最強のnon-languageモデルに匹敵しつつ、既存VLMベースよりはるかにcompact。NAVSIMとAlpaSimでも既存VLMベースより大幅に低い計算コストで競争力のある結果。

3. 技術・手法の肝は?

- lightweight LMをvisual question answeringとaction commentaryに用いるE2E構成 - 中間driving表現をlanguage embedding spaceへ効率的にprojectionし、compact LM (<150M) で強い記述とcommentaryを実現 - LMからdistillしたsurrogate reasoning featuresで学習するruntime-flexible planning module - 推論時にLMまたはsurrogate reasoning featuresのどちらかを条件として選択可能 - 展開制約時にLMを完全にbypass可能 - 選択したreasoning rateでLMとsurrogate reasoningをinterleaveして運転

4. どうやって有効だと検証した?

- Bench2Driveで評価: DS 97.03、Success Rate 89.39% (3回平均)、LMとsurrogate reasoningを選択reasoning rateでinterleave - 最強のnon-languageモデルに匹敵し、既存VLMベースよりはるかにcompactであることを示す - 実世界のNAVSIMとAlpaSimベンチマークでも評価し、既存VLMベースより大幅に低い計算コストで競争力のある結果 - 詳細なablationやclosed-loop条件の検証内容は要旨からは不明

5. 議論はある?

- LMをbypassしても運転性能を犠牲にしない点が実用展開上の利点として議論可能 - compact LM (<150M) でscene descriptionとaction commentaryが可能であることの限界や品質は要旨からは不明 - surrogate reasoning featuresの忠実性や、reasoning rate選択の影響は要旨からは不明 - 実世界ベンチマークでの計算コスト削減と性能のトレードオフの詳細は要旨からは不明

6. 次に読むべき論文は?

- VLMベースのE2E自動運転 (既存VLM-based models) - non-language E2E運転モデル (strongest non-language models) - Bench2Driveベンチマーク - NAVSIMベンチマーク - AlpaSimベンチマーク - knowledge distillationおよびsurrogate featuresを用いたplanning - runtime-flexible / detachable reasoningに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Emad Aghajanzadeh, Bethany Anne Wong, Leonhard Kunze, Moritz Thoma, Maximilian Forstenhäusler, Nael Fasfous, Manoj Rohit Vemparala, Pierpaolo Mori, Christos Anagnostopoulos, Daniel Mueller-Gritschneder, Ulf Schlichtmann

分類: cs.CV, cs.CL, cs.LG, cs.RO

原文アブストラクト

The integration of vision-language models (VLMs) into end-to-end (E2E) autonomous driving has demonstrated strong potential by providing scene description and reasoning capabilities. However, VLMs are computationally expensive, and switching language reasoning on and off at runtime without hurting closed-loop performance has not been demonstrated, which hinders practical adoption. To address these issues, we propose DRIFT, an E2E autonomous driving framework that integrates a lightweight language model (LM) for visual question answering and action commentary. By efficiently projecting intermediate driving representations into the language embedding space, we demonstrate that a compact LM (<150M parameters) can achieve strong scene description and action commentary. Furthermore, we introduce a runtime-flexible planning module that is trained on surrogate reasoning features distilled from the LM and can be conditioned on either the LM or the surrogate reasoning features at inference. This design enables bypassing the LM entirely when required by deployment constraints, without sacrificing driving performance. With only 255M parameters, DRIFT reaches up to a Driving Score (DS) of 97.03 and a Success Rate of 89.39% (mean over three runs) on Bench2Drive by interleaving its LM and surrogate reasoning at a chosen reasoning rate. This is on par with the strongest non-language models while being far more compact than existing VLM-based models. DRIFT further achieves competitive results on the real-world NAVSIM and AlpaSim benchmarks at significantly lower computational cost than existing VLM-based approaches. Project page: https://drift-e2e.github.io/

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI