日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.18581

GroundingVLN: 視覚言語ナビゲーションのためのグラウンディングに基づく推論と行動

GroundingVLN: Reasoning and Acting with Grounding for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚的グラウンディングを推論と行動の共通インターフェースとして用い、推論を画像位置に紐付け、画素ゴールを予測して動作に変換する視覚言語ナビゲーション手法を提案。R2R-CEで69.9%の成功率を達成。

詳しい要約

1. どんなもの？

- Vision-Language Navigation (VLN) のためのエージェント **GroundingVLN** を提案。 - 視覚的 grounding を reasoning と action の共有インターフェースとして用いる。 - 構造化 reasoning 中に task-relevant な視覚証拠を画像位置に anchor し、progress-aligned な pixel goal を予測して geometric planner で primitive action に変換。 - 学習用に **GroundingCOTVLN-188K** データセットと **GEAR** (Grounded and Execution-Aware Reinforcement Learning) を導入。

2. 先行研究と比べてどこがすごい？

- 既存 VLN エージェントは semantic reasoning と spatial execution の接続が弱く、中間 reasoning が視覚証拠に anchor されず、高レベル決定が低レベル運動の precise spatial goal を欠く。 - GroundingVLN は visual grounding を共有インターフェースとすることで両者を階層的に橋渡し。 - 最先端性能 (R2R-CE で 69.9% SR, RxR-CE で 75.1% SR) を達成しつつ、最強 baseline の 0.9% の訓練データで高い sample efficiency を実現。 - R2R のみで訓練して RxR-CE で 59.9% SR を達成し、最強 baseline より 20.1% 向上する強い generalization を示す。

3. 技術・手法の肝は？

- **Reasoning with grounding**: 構造化 reasoning 全体で task-relevant な視覚証拠を precise image location に anchor。 - **Acting through grounding**: progress-aligned な pixel goal を予測し、geometric planner が primitive action に変換。 - **GroundingCOTVLN-188K**: 時間的に整合した grounded reasoning trace のデータセット。 - **GEAR**: grounded reasoning と spatial decision を下流の execution に整合させる強化学習手法。

4. どうやって有効だと検証した？

- R2R-CE と RxR-CE で評価し、state-of-the-art 性能 (69.9% SR, 75.1% SR) を達成。 - 最強 baseline の 0.9% の訓練データで高い sample efficiency を確認。 - R2R のみで訓練し RxR-CE で 59.9% SR を達成、最強 baseline より 20.1% 向上する generalization を検証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 最強 baseline (具体的名称は要旨に記載なし)、R2R-CE、RxR-CE。 - 関連手法: Vision-Language Models (VLMs)、Vision-and-Language Navigation (VLN)、visual grounding、geometric planner、Reinforcement Learning。 - 同分野の定番: R2R, RxR, VLN-CE, Habitat, HAMT, DUET, NavGPT など。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kailing Li, Yu Han, Tianwen Qian, Yuqian Fu, Jingyu Gong, Jiangming Shi, Xiaoling Wang

分類: cs.RO

原文アブストラクト

Although vision-language models (VLMs) possess strong visual understanding and reasoning capabilities, existing vision-and-language navigation (VLN) agents struggle to connect semantic reasoning with spatial execution. Two coupled gaps remain in this connection, as intermediate reasoning is not explicitly anchored to visual evidence and high-level decisions lack precise spatial goals to guide low-level motion. Cognitive science suggests that human navigation bridges these levels hierarchically by anchoring cognition to relevant landmarks and guiding locomotion toward spatial goals. Motivated by this principle, we propose GroundingVLN, which uses visual grounding as a shared interface between reasoning and action. GroundingVLN first reasons with grounding by anchoring task-relevant visual evidence to precise image locations throughout structured reasoning. It then acts through grounding by predicting a progress-aligned pixel goal that a geometric planner translates into primitive actions. To learn these capabilities, we construct GroundingCOTVLN-188K, a dataset of temporally aligned grounded reasoning traces, and introduce Grounded and Execution-Aware Reinforcement Learning (GEAR), which aligns grounded reasoning and spatial decisions with downstream execution. Experiments demonstrate that GroundingVLN achieves state-of-the-art performance (69.9% SR on R2R-CE and 75.1% SR on RxR-CE) with high sample efficiency, using just 0.9% as much training data as the strongest baseline. It also generalizes strongly across datasets, attaining 59.9% SR on RxR-CE when trained solely on R2R, a gain of 20.1% over the strongest baseline.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI