自動運転2026/9/3arXiv:2609.03602v1

SV-WAM: 効率的な全方位ビュー世界行動モデルによるエンドツーエンド自動運転

SV-WAM: An Efficient Surround-View World-Action Model for End-to-End Autonomous Driving

全方位カメラ入力を用いた世界行動モデルを提案し、将来ビデオ予測を訓練時の補助信号として活用することで、推論時の計算負荷を抑えつつ安全な運転計画を実現した。

詳しい要約

1. どんなもの？

SV-WAMは、自動運転のためのsurround-view（6カメラ）入力を保持しつつ、効率的な推論を実現するworld-action model (WAM)である。将来のビデオ予測を推論時の出力ではなく、共有生成モデル内でのアクション学習のための密な訓練監視として利用する。デプロイ時にはビデオ分岐を破棄し、アクションのみのプランニングを可能にする。

2. 先行研究と比べてどこがすごい？

従来のdriving world modelsは、推論時に将来ビデオを生成するため計算コストが高く、効率化のために単一のフロントカメラ入力を採用することが多かった。これに対しSV-WAMは、surround-viewの全6カメラ観測を維持しつつ、ビデオ生成を訓練時のみに限定することで、効率的な推論と広い空間カバレッジを両立した点が優れている。

3. 技術・手法の肝は？

手法の核は、action-centered causal maskである。これは、joint action-video denoising中に、action tokensがfuture-video tokensにアテンションしないようにする。これにより、ビデオ分岐をデプロイ時に破棄できる。さらに、differentiable drivable-area compliance regularizerを導入し、車両フットプリントのコーナーが運転可能領域の境界に近づいたり越えたりすることをペナルティすることで、プランニングの安全性と境界認識を向上させる。

4. どうやって有効だと検証した？

閉ループのNAVSIMv2ベンチマークと開ループのnuScenesベンチマークで広範な実験を行い、低い推論レイテンシと競争力のあるゼロショット転送能力を備えた最先端のプランニング性能を達成したことを示した。

5. 議論はある？

要旨からは、surround-view入力の利点を定量的に示したか、単一カメラとの比較がなされたかは不明。また、提案するregularizerの効果をアブレーションで検証したかも不明。さらに、実世界でのロバスト性や、ビデオ予測の品質がアクション学習に与える影響についての議論は要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されているベンチマークであるNAVSIMv2とnuScenesに関連する論文、およびworld modelsを用いた自動運転の研究（例：GAIA-1、DriveGAN、或いはsurround-viewを扱うもの）が挙げられる。具体的には、NAVSIMv2の提案論文や、nuScenesデータセットの元論文、また効率的なworld modelのための手法（例：Video World Models）などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinyang Wang, Shiwei Li, Junjian Wang, Zhiqiang Deng, Jianbin Gao, Yihang Zhao, Liu Liu, Yongjia Zhao, Jinlong Chen, Huirui Xu, Yifeng Pan, Kangwei Liu, Fan Ren, Ji Tao, Minghao Yang

分類: cs.CV, cs.RO

原文アブストラクト

World models (WMs) have demonstrated strong potential for end-to-end autonomous driving by learning predictive representations of future scene dynamics. However, generating future videos during inference introduces substantial computational overhead, leading many recent driving WMs to adopt a single front camera as input for efficient deployment. This design restricts spatial coverage in safety-critical maneuvers such as lane changes, merges, and turns. To address this limitation, we propose SV-WAM, a surround-view world-action model (WAM) that preserves full six-camera observations while maintaining efficient inference. SV-WAM leverages future-video prediction as dense training supervision for action learning within a shared generative model, rather than as an inference-time output. At the core of this design is an action-centered causal mask that prevents action tokens from attending to future-video tokens during joint action-video denoising. Consequently, the video branch can be discarded at deployment, enabling efficient action-only planning. Furthermore, we introduce a differentiable drivable-area compliance regularizer that penalizes vehicle-footprint corners approaching or crossing drivable boundaries, improving planning safety and boundary awareness. Extensive experiments on the closed-loop NAVSIMv2 benchmark and the open-loop nuScenes benchmark demonstrate that SV-WAM achieves state-of-the-art planning performance with low inference latency and competitive zero-shot transfer capability.

arXivで原文を読む →arXiv概要ページ