自動運転/VLA2026/9/2arXiv:2609.02341v1

運転用VLAの異なる車体構成へのゼロショット転移に向けて

Towards Zero-Shot Transfer Across Embodiments For Driving VLAs

運転タスクのVLAモデルにおいて、複数データセットでの訓練とBEV-Forcing補助タスクが、未見のカメラ構成へのゼロショット転移性能を向上させることを示した。ただし、訓練データの多様性を増やすと補助タスクの効果は減少する。

詳しい要約

1. どんなもの？

本研究は、自動運転におけるVision-Language-Action models (VLAs)のゼロショット転送能力を向上させることを目的としている。複数のデータセットを用いたマルチデータセット学習と、BEV-Forcingと呼ばれる補助タスクを導入し、カメラ構成（embodiment）が異なる未見のデータセットへの一般化を試みる。

2. 先行研究と比べてどこがすごい？

従来の自動運転用VLAは個別のデータセットで訓練され、未見のデータセットやカメラ構成へのゼロショット転送はほとんど評価されていなかった。また、単純に訓練データを増やしても性能が向上しないことが知られている。本研究は、BEV-Forcingにより共有の空間表現を学習することで、少数のカメラ構成でも分布内・分布外の性能を向上させる点が新しい。

3. 技術・手法の肝は？

手法の核は、BEV-Forcingと呼ばれる補助目的関数である。これは、専門のBird's-Eye-View (BEV)モデルから得られる地平面のオブジェクトレイアウト情報をVLAのバックボーンに転送する。モデルが共有のBEV空間インターフェースを通じてオブジェクト位置を表現するように促すことで、異なるカメラ構成間での一般化を促進する。

4. どうやって有効だと検証した？

有効性は、複数のデータセットとカメラ構成を用いた実験で検証された。少数のカメラ構成で訓練した場合、BEV-Forcingが分布内および分布外の性能を向上させることを示した。また、訓練データのembodiment数を増やすと補助タスクの利点が減少することも示し、データスケーリングを考慮した結果を提示している。

5. 議論はある？

議論として、訓練データの多様性を増やすとBEV-Forcingのような補助タスクの利点が減少するという結果が挙げられる。これは、文献で提案される新技術が、単に訓練データの多様性をスケールアップするだけではその効果が薄れる可能性があることを示唆しており、データスケーリングを考慮した評価の重要性を強調している。

6. 次に読むべき論文は？

要旨からは、関連研究としてロボット操作におけるVLAのクロスエンボディメント一般化の研究が挙げられる。また、BEVモデルやマルチデータセット学習に関する研究が関連する。具体的な論文名は不明だが、VLAのクロスエンボディメント学習やBEV表現学習の分野の論文を参照することが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Caio Azevedo, Stefano Sabatini, Sascha Hornauer, Fabien Moutarde

分類: cs.CV

原文アブストラクト

Vision-Language-Action models (VLAs) have shown strong potential in autonomous driving by leveraging multimodal pretraining for instruction following, visual reasoning, and scene-level generalization. In robotic manipulation, scaling VLA fine-tuning across multiple robot setups--especially when unifying representations across embodiments--has been shown to improve in-dataset performance and cross-embodiment generalization; in autonomous driving, however, VLAs remain largely trained on individual datasets and are rarely evaluated for zero-shot transfer to unseen datasets and camera rigs; furthermore naively adding more datasets to the training data does not necessarily lead to better performance within seen embodiments. To address these problems, we study multi-dataset training for the driving task and BEV-Forcing, an auxiliary objective that transfers ground-plane object-layout information from a specialized Bird's-Eye-View model into the VLA backbone. By encouraging the model to represent object position through a shared BEV spatial interface, we show that an auxiliary task such as BEV-Forcing can improve both in-distribution and out-of-distribution performance when training on a small number of camera rigs. As the number of training embodiments increases, however, the benefits of the auxiliary task are reduced; we present this as evidence that new techniques in the literature may see their benefits diminish when simply scaling up training diversity, which motivates presenting results taking into account data scaling.

arXivで原文を読む →arXiv概要ページ