ナビゲーション2026/8/31arXiv:2608.30396v1

基盤モデルを物理世界エージェントに組み込むことで長期的ナビゲーションの限界を押し広げる

Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation

VLMによる推論エージェントとナビゲーション基盤モデルを組み合わせたフレームワークNavMCPを提案し、長期的な探索タスクで高い性能を達成した。

詳しい要約

1. どんなもの？

本論文は、長期的な物理世界エージェントのナビゲーション性能を向上させるため、VLM（vision-language model）とNFM（navigation foundation model）を組み合わせたエージェント型スキャフォールディングフレームワーク「NavMCP」を提案している。VLMは高レベルの推論と計画を担当し、NFMは各サブゴールの閉ループナビゲーションを実行する。両者の協調を、意図（intent）、観察（observation）、記憶（memory）の3つのチャネルで構造化することで、モデルを再学習することなく、孤立したナビゲーションロールアウトを永続的な身体化インタラクションに変換する。

2. 先行研究と比べてどこがすごい？

従来のVLMは高レベルの計画や情報推論に優れるが、反復的なナビゲーションの接地（grounding）には脆く非効率であり、NFMはセマンティックゴールの実行に頑健だが、タスクレベルの推論を持たずエピソード単位で動作する。NavMCPはこれらをスキャフォールディングで統合し、両者の長所を活かす点が新しい。特に、エージェントと実行器のバックボーンを揃えた比較で、エピソード型インターフェースよりHM-EQAで14.9ポイント上回るなど、既存の単純な組み合わせを凌駕する。

3. 技術・手法の肝は？

NavMCPは、VLM推論エージェントとNFM実行器を結合する。VLMは「何の証拠を探すか」「どこを探すか」「いつ止めるか」を決定し、NFMは各セマンティックサブゴールを閉ループナビゲーションに接地する。3つのチャネルが協調を構造化する：intentは証拠の必要性をナビゲーション呼び出しに変換し、observationはロールアウトをソース接地された軌跡証拠に変換し、memoryは発見、否定的証拠、未解決ゴールを呼び出し間で蓄積する。これにより、モデルの再学習なしに永続的な身体化インタラクションを実現する。

4. どうやって有効だと検証した？

Embodied Question Answeringタスクにおいて、HM-EQA、MT-HM3D、EXPRESS-Benchで最先端の結果を達成した。また、エージェントと実行器のバックボーンを揃えた比較では、エピソード型インターフェースよりHM-EQAで14.9ポイント高い性能を示した。さらに、Unitree Go2ロボット上で78.3%の成功率を達成し、タスクの地平線が長くなるにつれて、最強ベースラインとの差が10ポイントから45ポイントに拡大することを確認した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な問題についての議論は不明である。ただし、スキャフォールディングによりモデルを再学習しない点は利点だが、VLMとNFMの連携におけるオーバーヘッドや、実環境でのスケーラビリティ、長期的な記憶の管理などが課題となる可能性が考えられる。また、評価は特定のベンチマークとロボットに限定されており、一般化についてはさらなる検証が必要かもしれない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、vision-language models (VLMs)、navigation foundation models (NFMs)、Embodied Question Answering、HM-EQA、MT-HM3D、EXPRESS-Bench、Unitree Go2が挙げられる。次に読むべき論文としては、これらのベンチマークを提案した論文や、VLMとNFMの基盤となるモデルに関する論文が考えられる。具体的には、HM-EQAやMT-HM3Dのデータセット論文、EXPRESS-Benchの提案論文、またVLMの代表例であるLLaVAやGPT-4V、NFMの代表例であるViNTやNoMaDなどが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixing Lei, Gengze Zhou, Xiong-Hui Chen, Jiazhao Zhang, Yiyang Huang, Hang Yin, Haoqi Yuan, Qi Wu, Weixin Li, Siheng Chen

分類: cs.AI, cs.RO

原文アブストラクト

Long-horizon physical-world agents must reason over distant goals while grounding decisions in reliable closed-loop behavior. Today's foundation models split these capabilities: vision-language models (VLMs) infer missing information and adapt high-level plans but remain brittle and inefficient at repeated navigation grounding, while navigation foundation models (NFMs) robustly execute semantic goals but operate as bounded episodes without persistent task-level reasoning. We introduce NavMCP, an agentic scaffolding framework that couples a VLM reasoning agent with an NFM executor for long-horizon exploration. The VLM decides what evidence to seek, where to search, and when to stop, while the NFM grounds each semantic sub-goal into closed-loop navigation. Three channels structure their collaboration: intent translates evidence needs into navigation calls, observation converts rollouts into source-grounded trajectory evidence, and memory accumulates findings, negative evidence, and unresolved goals across calls. This design turns isolated navigation rollouts into persistent embodied interaction without retraining either model. On Embodied Question Answering, NavMCP achieves state-of-the-art results on HM-EQA, MT-HM3D, and EXPRESS-Bench. Under matched agent and executor backbones, it outperforms an episodic interface by 14.9 percentage points on HM-EQA. On a Unitree Go2, NavMCP reaches 78.3% success, with its margin over the strongest baseline growing from 10 to 45 points as the task horizon increases. These results demonstrate the potential of scaffolding complementary foundation models into long-horizon physical-world agents.

arXivで原文を読む →arXiv概要ページ