VLA2026/9/14arXiv:2609.15098

LG-VLN: LangGraph状態オーケストレーションによるゼロショット視覚言語ナビゲーション

LG-VLN: A Zero-Shot Vision-and-Language Navigation Framework with LangGraph State Orchestration

単眼カメラのみで未知環境をナビゲートするゼロショットVLNフレームワークを提案し、LangGraphで状態遷移を管理することでR2R-CEで21.3%の成功率を達成した。

詳しい要約

1. どんなもの？

- 連続環境での vision-and-language navigation (VLN-CE) を対象とした、単眼 RGB のみで動作する zero-shot フレームワーク LG-VLN を提案。 - LangGraph ベースの state orchestration を導入し、instruction parsing、geometric perception、semantic value updates、path planning、action execution、failure recovery を directed state graph として表現。 - 共有 visual features と online feed-forward 3D reconstruction を組み合わせ、LiDAR や panoramic camera などの追加センサを不要とする。

2. 先行研究と比べてどこがすごい？

- 既存手法は LiDAR、panoramic camera、追加センサに依存する傾向があり、また geometric-mapping と semantic-navigation で visual representation が分離されるため、長軌跡で spatial-semantic inconsistency が生じうる。 - LG-VLN は monocular RGB のみで zero-shot VLN-CE を実現し、geometry と navigation で dense CleanDIFT features を共有することで一貫性を向上。 - LangGraph による明示的な state orchestration と modular recovery を導入した点が先行研究と異なる。

3. 技術・手法の肝は？

- online feed-forward 3D reconstruction network が depth、camera poses、dense point clouds を予測し、agent-pose estimation と global map fusion に利用。 - geometry と navigation は dense CleanDIFT features を共有。semantic consistency で誤った inter-frame correspondences を棄却し、target-instance constraints で visual references を定義。 - visual similarity と local BLIP-2 image-text relevance を組み合わせて semantic value map を形成。 - LangGraph が instruction parsing、geometric perception、semantic value updates、path planning、action execut…

4. どうやって有効だと検証した？

- R2R-CE val-unseen split の固定 550-episode subset で評価。 - 21.3% success、12.1% success weighted by path length を達成。 - ablation により、共有 semantic features が navigation を改善し、visual similarity と image-text relevance の組み合わせでさらに向上することを示した。

5. 議論はある？

- 共有 visual representations と明示的 state orchestration が、monocular RGB のみを用いる zero-shot VLN-CE に有効であると結論。 - コードは再現性のために公開予定。 - 限界や失敗事例、計算コスト、他データセットへの汎化については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: LiDAR や panoramic camera を用いる既存 VLN-CE 手法、CleanDIFT、BLIP-2、LangGraph。 - 関連手法として、zero-shot VLN、monocular 3D reconstruction、vision-language navigation の定番手法を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianhe Zhao, Yanhua Qiu, Zhiyu Zhang, Zibo Zhao, Jinhua Xie

分類: cs.CV, cs.RO

原文アブストラクト

Continuous-environment vision-and-language navigation (VLN-CE) requires interpreting natural-language instructions in unseen 3D environments and executing continuous low-level actions. Existing methods often depend on LiDAR, panoramic cameras, or extra sensors; separate geometric-mapping and semantic-navigation visual representations can cause long-trajectory spatial-semantic inconsistencies. We propose LG-VLN, a monocular zero-shot framework with shared visual features and LangGraph-based state orchestration. An online feed-forward 3D reconstruction network predicts depth, camera poses, and dense point clouds for agent-pose estimation and global map fusion. Geometry and navigation share dense CleanDIFT features: semantic consistency rejects incorrect inter-frame correspondences, while target-instance constraints define visual references whose similarity combines with local BLIP-2 image-text relevance to form a semantic value map. LangGraph represents instruction parsing, geometric perception, semantic value updates, path planning, action execution, and failure recovery as a directed state graph with conditional transitions, persistent state, and modular recovery mechanisms. On a fixed 550-episode subset of the R2R-CE val-unseen split, LG-VLN achieves 21.3% success and 12.1% success weighted by path length. Ablations show shared semantic features improve navigation, further boosted by combining visual similarity and image-text relevance. Results establish shared visual representations and explicit state orchestration as effective for zero-shot VLN-CE using monocular RGB alone. Code will be publicly released for reproducibility.

arXivで原文を読む →arXiv概要ページ