ナビゲーション2026/9/3arXiv:2609.03483v1

共有鳥瞰図による空陸協調型視覚言語ナビゲーション

Air-Ground Collaborative Vision-and-Language Navigation via Shared Bird's-Eye Maps

UAVとUGVが協調する空陸協調型VLNの初の訓練不要ベースラインを提案し、共有鳥瞰図を用いて協調動作を実現、成功率77%を達成した。

詳しい要約

1. どんなもの？

空と地上の協調によるVision-and-Language Navigation (VLN)の新しいタスク設定を提案し、そのための最初のtraining-freeベースラインであるAGC-VLNを確立した研究。UAVが持つ俯瞰視点とUGVの一人称視点を組み合わせ、共有のbird's-eye mapを介して協調する。

2. 先行研究と比べてどこがすごい？

既存のtraining-free手法は単一エージェントタスク向けで協調機構がなく、最近のCARLA-Air評価では5つのSOTA VLAモデルが安定した協調行動を示さなかった。また、単純なセマンティック通信や双方向結合は性能を低下させる。AGC-VLNは、VLMによる意味推論と決定的な幾何学的実行を分離し、その間に協調インターフェースを導入することで、初のtraining-free協調ベースラインを実現した点が新しい。

3. 技術・手法の肝は？

手法の肝は、UAVがUGVの位置とVLMで特定された目標をCAR/GOALマーカーとして距離ラベル付きで俯瞰画像に描画し、共有bird's-eye mapを生成すること。UGVはこの地図から一人称視点では得られない大域的な空間文脈を得て、凍結したVLMで道路追従経路を計画し、閉ループ制御で実行する。並行してUAVは3D-SPF（SPFの空間探索拡張）を用いて下方視野で目標を特定し飛行する。

4. どうやって有効だと検証した？

CARLA-AirのTown10HDシーンで100エピソードの閉ループ評価を実施。AGC-VLNは77.0%のジョイント成功率を達成し、弱い個別エージェント（UAV単体50.0%）に対して+27.0%の協調ゲイン、最強の公開単一エージェントベースライン（Travel UAV、53.0%）を24.0ポイント上回った。

5. 議論はある？

要旨からは、協調の有効性はUAVの大域的視点とUGVの道路追従実行の相補性に起因すると考察されている。しかし、他のシーンやより複雑な環境での汎用性、VLMの推論限界、実機での性能などについては言及がなく不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、CARLA-Air評価で比較された5つのSOTA VLAモデル、単一エージェントのtraining-free手法（SPFなど）、およびTravel UAVベースラインが挙げられる。具体的な論文名は要旨にないため、同分野の定番としてVision-and-Language Navigation関連の研究を参照するとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuning Zhang, Liang Li, Yunheng Wang, Tao Wang, Yihang Kang, Renjing Xu

分類: cs.RO, cs.AI

原文アブストラクト

Air-ground collaborative Vision-and-Language Navigation (VLN) pairs an unmanned aerial vehicle (UAV) with a global bird's-eye view and an unmanned ground vehicle (UGV) with a local first-person view, yet the setting remains largely unexplored: existing training-free methods solve single-agent tasks but offer no collaboration mechanism, and a recent CARLA-Air evaluation found no stable cooperative behavior across five state-of-the-art VLA models; naive semantic communication or bidirectional coupling even degrades performance. We establish AGC-VLN (Air-Ground Collaborative VLN), the first training-free baseline for air-ground collaborative VLN. The key insight is that training-free methods decompose navigation into VLM-based semantic reasoning and deterministic geometric execution, exposing a collaboration interface: the UAV's global view, over which it renders the UGV's reported pose and the VLM-anchored target as CAR/GOAL markers with distance labels, yielding a shared bird's-eye map. From this map, the UGV acquires global spatial context its first-person view cannot provide, plans a road-following path with a frozen VLM, and executes it under closed-loop control; in parallel, the UAV runs 3D-SPF, a spatial-search upgrade of SPF that localizes the target in the downward view and flies toward it. On 100 closed-loop episodes in CARLA-Air's Town10HD scene, AGC-VLN reaches a 77.0% joint success rate, a collaboration gain of +27.0% over the weaker individual agent (the UAV, 50.0%), and exceeds the strongest published single-agent baseline (Travel UAV, 53.0%) by 24.0 points, stemming from the complementarity of the UAV's global view and the UGV's road-following execution. Project page: https://github.com/ZSN2024/AGC-VLN.

arXivで原文を読む →arXiv概要ページ