日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚言語ナビゲーションarXiv:2611.20676

進捗の学習と検証:長期的視野言語ナビゲーションのための閉ループ型エージェント計画と進捗強化実行

Learning and Verifying Progress: Closed-Loop Agentic Planning with Progress-Enhanced Execution for Long-Horizon Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

長期的な視野言語ナビゲーションにおいて、進捗認識実行と独立した進捗検証を組み合わせた閉ループ型エージェントシステムLeaP-VLNを提案し、R2R-CEとRxR-CEで最先端の成功率を達成した。

詳しい要約

1. どんなもの?

- 長期的な vision-language navigation (VLN) のための agentic システム LeaP-VLN を提案 - plan–execute–verify–recover の閉ループサイクルで進捗を学習・検証 - progress verifier による明示的な進捗検証と、executor の進捗推論 co-training による暗黙的な進捗活用を組み合わせる - 長期的 VLN における subtask 完了判定と局所誤差の伝播抑制を狙う

2. 先行研究と比べてどこがすごい?

- 従来の expert trajectory で訓練された executor は deployment 時の policy-induced state shift に弱く、stop signal が subtask 完了を確実に示さない問題があった - LeaP-VLN は独立した progress verifier を導入し、subtask 完了を検証してから次へ進む仕組みを追加 - route deviation 時に dual-phase recovery を発動 - R2R-CE と RxR-CE で、追加の navigation dataset なしで訓練した monocular 手法の中で state-of-the-art の success rate を達成したと主張

3. 技術・手法の肝は?

- progress verifier が subtask 完了を検証し、完了確認後に agent が次段階へ進む - route deviation を検知すると dual-phase recovery をトリガー - executor は progress reasoning と action prediction を co-training し、進捗認識と修正制御を強化 - two-stage progress-enhanced curriculum を採用: まず expert demonstrations への behavior cloning、次に demonstrations・expert action corrections・progress-reasoning supervision の joint training - policy-generated trajectories を用いて intra-subtask drift と inter-subtask state shift に executor を晒し、閉ループ実行時のずれに整合させる

4. どうやって有効だと検証した?

- R2R-CE と RxR-CE での実験により、追加の navigation dataset なしで訓練した monocular 手法の中で state-of-the-art の success rate を達成 - 実世界実験により long-horizon navigation における LeaP-VLN の有効性を検証 - 詳細な ablation や指標の内訳は要旨からは不明

5. 議論はある?

- policy-induced state shift と stop signal の信頼性という長期的 VLN の課題に対し、verify と recover を組み込む設計で対処 - progress verifier の誤判定や recovery 発動条件の影響、計算コスト、実世界でのスケーラビリティに関する議論は要旨からは不明 - 追加 navigation dataset なしでの比較に限定した主張であり、他設定への一般化は要旨からは不明

6. 次に読むべき論文は?

- R2R-CE および RxR-CE のベンチマーク研究 - behavior cloning と DAgger 系の expert action correction を用いた模倣学習 - agentic planning や plan–execute–verify 型の閉ループ制御に関する研究 - VLN における progress estimation / progress verifier 関連手法 - monocular VLN の先行 state-of-the-art 手法(要旨で具体的名称は挙げられていないため一般名で記載)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kangjie Zhou, Sukai Wang, Yuhan Xiao, Qinghang Liu, Zhejia Wen, ChunXuan Jiao, Wei Shan, Guanghui Ren, Maoqing Yao, Chang Liu

分類: cs.RO

原文アブストラクト

Long-horizon vision-language navigation (VLN) requires agents to track instruction progress and recover from local errors before they propagate across subtasks. However, executors trained on expert trajectories encounter policy-induced state shifts during deployment, and their stop signals do not reliably indicate subtask completion. We introduce Learning and Verifying Progress for VLN (LeaP-VLN), an agentic VLN system that couples progress-aware execution with independent progress verification through plan--execute--verify--recover cycles. LeaP-VLN leverages progress both explicitly, through a progress verifier that verifies subtask completion before the agent advances and triggers dual-phase recovery upon route deviation, and implicitly, by co-training the executor on progress reasoning and action prediction to enhance the executor's progress awareness and corrective control. To adapt the executor to this closed-loop interface, we propose a two-stage progress-enhanced curriculum: behavior cloning on expert demonstrations, followed by joint training on demonstrations, expert action corrections, and progress-reasoning supervision. Policy-generated trajectories expose the executor to both intra-subtask drift and inter-subtask state shifts, aligning training with the deviations encountered during closed-loop execution. Extensive experiments on R2R-CE and RxR-CE demonstrate state-of-the-art success rates among monocular methods trained without additional navigation datasets, while real-world experiments further validate the effectiveness of LeaP-VLN in long-horizon navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI