日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
自動運転/世界モデルarXiv:2610.17903

DriveWLA：自動運転のための世界・言語・行動モデリングによる未来動態とシーン意味論の統合

DriveWLA: Unifying Future Dynamics and Scene Semantics through World-Language-Action Modeling for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けに、未来予測・意味理解・軌道生成をMixture-of-Transformersで統合したWorld-Language-Actionモデルを提案し、強化学習で軌道生成を改善して高い性能とゼロショット汎化を示した。

詳しい要約

1. どんなもの？

- 自動運転向けの統合モデル DriveWLA を提案 - World-Language-Action を Mixture-of-Transformers (MoT) で統合 - 3 つの expert で構成 - World Expert: 将来予測 - Language Expert: 意味理解 - Action Expert: 軌道生成 - 意味理解・将来シーン動態・軌道生成を同時にモデル化 - 軌道生成の性能向上を目的とする

2. 先行研究と比べてどこがすごい？

- VLM と world model はそれぞれ意味理解や将来予測に強い - しかし両能力を軌道生成に統合するのは困難 - DriveWLA は両者を単一フレームワークで統合 - VLM ベースおよび world-model ベースの planner の中で高い性能 - 追加の fine-tuning なしで zero-shot 汎化を示す

3. 技術・手法の肝は？

- Mixture-of-Transformers (MoT) を基盤とする - 3 expert: World, Language, Action - Cross-Expert Attention を導入 - expert 間の情報流を制御 - 意味表現と動態表現を整合 - 模倣学習を超えるため Flow-GRPO 強化学習で Action Expert を post-training - 軌道生成を refinement

4. どうやって有効だと検証した？

- 大規模実験を実施 - open-loop と closed-loop の両評価で優位 - NAVSIM v1 で 92.3 PDMS - NAVSIM v2 で 90.1 EPDMS - VLM ベースおよび world-model ベースの planner と比較 - fine-tuning なしで HUGSIM, nuScenes, Bench2Drive へ zero-shot 汎化

5. 議論はある？

- 統合 World-Language-Action モデリングの有効性を確認 - 汎化可能な自動運転フレームワークとして位置づけ - ただし要旨からは限界や失敗事例の詳細は不明 - 計算コストやリアルタイム性の議論は要旨からは不明 - expert 間の情報流制御の詳細な分析は要旨からは不明

6. 次に読むべき論文は？

- VLM ベース planner の代表研究 - world model ベース planner の代表研究 - Mixture-of-Transformers (MoT) - Flow-GRPO - NAVSIM v1 / v2 - HUGSIM, nuScenes, Bench2Drive - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuzheng Wang, Haoxuan Li, Shengzhen Li, Chenxi Wu, Yajing Sun, Lu Hou, Wenyu Liu, Xinggang Wang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Vision-Language Models (VLMs) and world models have demonstrated strong capabilities in semantic understanding and future scene evolution for autonomous driving. However, effectively integrating both capabilities for trajectory generation remains challenging. In this work, we propose DriveWLA, a unified World-Language-Action model based on Mixture-of-Transformers (MoT) that jointly models semantic understanding, future scene dynamics, and trajectory generation. DriveWLA consists of three experts: a World Expert for future prediction, a Language Expert for semantic understanding, and an Action Expert for trajectory generation. We further introduce Cross-Expert Attention, which enables controlled information flow across experts while aligning semantic and dynamic representations. To improve trajectory generation beyond imitation learning, we apply Flow-GRPO reinforcement learning post-training to refine the Action Expert. Extensive experiments show that DriveWLA achieves superior performance in both open-loop and closed-loop evaluation. DriveWLA achieves 92.3 PDMS on NAVSIM v1 and 90.1 EPDMS on NAVSIM v2, demonstrating strong performance among VLM-based and world-model-based planners. Without specific fine-tuning, DriveWLA further demonstrates strong zero-shot generalization to HUGSIM, nuScenes, and Bench2Drive. These results validate the effectiveness of our unified World-Language-Action modeling, establishing DriveWLA as a generalizable framework for autonomous driving.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI