自動運転/VLA2026/8/18arXiv:2608.21440

Geo-VLA: 地図セマンティクスの内在化による幾何認識型視覚言語行動計画

Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics

複雑な運転環境でのVLAモデルの計画性能を向上させるため、幾何学的な地図情報を学習時に内在化するプラグアンドプレイ型フレームワークGeo-VLAを提案した。推論時にはHD地図を不要とし、NAVSIM v1で単眼カメラVLAプランナーとして最高性能を達成した。

詳しい要約

1. どんなもの？

Geo-VLAは、複雑な運転環境におけるVision-Language-Action (VLA)モデルのプランニング性能を向上させるための、プラグアンドプレイのフレームワークです。画像のみの表現では道路の幾何学やトポロジーを十分に捉えられないという問題に対処し、トレーニング中に幾何学的な地図セマンティクスを内部化することで、道路構造の表現を強化します。推論時にはHDマップや追加のレーン情報を必要としません。また、このアプローチを支援するために、コントラスト学習と指示チューニングを通じて視覚言語表現に道路幾何学を注入する、幾何学に焦点を当てた質問応答データセットであるGeo-QAを導入しています。

2. 先行研究と比べてどこがすごい？

先行研究のVLAモデルは、基礎モデルを活用してセマンティック推論やロングテール一般化を実現していますが、画像のみの表現に依存しているため、プランニングに重要な道路の幾何学やトポロジーを十分に捉えられず、複雑な運転環境での性能が限られていました。Geo-VLAは、幾何学認識の視覚表現を学習することでこの問題を解決し、プラグアンドプレイで既存のVLAモデルに統合できる点が優れています。また、推論時にHDマップや追加のレーン情報を必要としないため、実用的です。

3. 技術・手法の肝は？

手法の肝は、トレーニング中に幾何学的な地図セマンティクスを内部化することです。具体的には、Geo-QAデータセットを導入し、コントラスト学習と指示チューニングを用いて、視覚言語表現に道路幾何学を注入します。これにより、モデルは幾何学認識の視覚表現を学習し、プランニングに役立つ道路構造の表現を強化します。推論時には追加の入力は不要で、既存のVLAモデルにプラグインとして組み込むことができます。

4. どうやって有効だと検証した？

NAVSIM v1データセットを用いた実験で検証しています。Geo-VLAは、異なるアクション生成アーキテクチャを持つVLAプランナーに対して一貫した改善を示し、単一カメラのVLAプランナーの中で92.1 PDMSを達成し、新しい最先端の結果を確立しました。

5. 議論はある？

要旨からは、Geo-VLAの限界や潜在的な問題についての議論は不明です。ただし、提案手法はプラグアンドプレイであり、推論時に追加情報を必要としないため、実用性が高いと考えられます。しかし、トレーニング時にGeo-QAデータセットが必要であり、その生成コストや一般化可能性については議論の余地があるかもしれません。

6. 次に読むべき論文は？

要旨で参照されている研究は、Vision-Language-Action (VLA)モデル、NAVSIM v1データセット、コントラスト学習、指示チューニングなどです。次に読むべき論文としては、VLAモデルの基盤となる研究や、NAVSIMベンチマークに関する論文が挙げられます。具体的には、要旨に明記されていないため、同分野の定番である「Vision-Language-Action Models for Autonomous Driving」や「NAVSIM: A Benchmark for Autonomous Driving」などの関連研究を参照するとよいでしょう。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ran Chen, Jiaxing Ren, Zhikun Zhang, Yunhao Hou, Junbao Zhuo, Bochao Zou

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action (VLA) models have advanced end-to-end autonomous driving by leveraging foundation models for semantic reasoning and long-tail generalization. However, their planning performance remains limited in complex driving environments because image-only representations inadequately capture planning-relevant road geometry and topology. In this paper, we propose Geo-VLA, a plug-and-play framework that enhances VLA models by learning geometry-aware visual representations. During training, Geo-VLA internalizes geometric map semantics to strengthen road-structure representations, while requiring no HD maps or additional lane information during inference. To support this approach, we introduce Geo-QA, a geometry-focused question-answering dataset that injects road geometry into vision-language representations through contrastive learning and instruction tuning. Experiments on NAVSIM v1 demonstrate that Geo-VLA consistently improves VLA planners with distinct action-generation architectures, achieving 92.1 PDMS and establishing a new state-of-the-art among single-camera VLA planners.

arXivで原文を読む →arXiv概要ページ