ナビゲーション2026/8/18arXiv:2608.17512v1

具現化ナビゲーター：指差し・思考・記憶・整合による効率的ナビゲーション

Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation

大規模視覚言語モデルを具現化ナビゲーションに活用する際の課題を解決するため、2Dピクセル選択と3D投影による行動形式、選択的推論と記憶圧縮、GRPOによる二段階整合を備えた統一フレームワークTAMP-Navを提案した。

詳しい要約

1. どんなもの？

本論文は、Large Vision-Language Models (VLMs)を用いたembodied navigationのための統合フレームワークTAMP-Navを提案している。VLMsの2D事前学習特性に合わせてナビゲーションを2Dのvisual promptingとして再構成し、効率的な推論とメモリ管理を実現する。

2. 先行研究と比べてどこがすごい？

既存手法はVLMsを不自然な行動空間に強制し、2D事前学習とのミスアラインメントを生じる。また、硬直的な推論スケジュールや非効率なメモリ管理が課題だった。TAMP-NavはPixel-to-3D Action FormulationによりVLMの2D能力を直接活用し、Selective ReasoningとAnchor-Trajectory Memoryで動的推論とメモリ圧縮を実現する点が優れている。

3. 技術・手法の肝は？

手法の核は4つの要素からなる。(1) Pixel-to-3D Action Formulation: VLMが2Dピクセルを選択し、それを3D座標に投影して低レベルSLAMコントローラに渡す。(2) Selective Reasoning: 動的にChain-of-Thoughtをトリガーする。(3) Anchor-Trajectory Memory: 重要なノードのみ高忠実度メモリを保持し、冗長な軌跡をSpace-Time Indicatorsに圧縮する。(4) Two-Level Alignment Paradigm: Group Relative Policy Optimization (GRPO)を用いて、グローバルなoutcome rewardと細かいprocess rewardを重畳し、認知計画と環境フィードバックを密に整合させる。

4. どうやって有効だと検証した？

実験では、R2R-CEデータセットで評価し、State-of-the-Artの性能（SR 66.2%）を達成した。また、90kの訓練軌跡のみで高いruntimeとsample efficiencyを実現したことを示している。

5. 議論はある？

要旨からは、提案手法の限界や議論点は明示されていない。ただし、VLMの2D事前学習に依存するため、3D空間認識が不十分な場合や、複雑な環境での汎用性に課題が残る可能性が考えられるが、要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、Large Vision-Language Models (VLMs)を用いたembodied navigationの既存手法、Chain-of-Thought、Group Relative Policy Optimization (GRPO)、R2R-CEデータセットを用いた研究が挙げられる。具体的には、VLMsをナビゲーションに適用した先行研究や、GRPOを用いた強化学習手法を読むと良い。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyan Feng, Sunlai Chen, Xuanyu Liu, Miao Pan, Yangfan Xie, Yuxiang Cui, Zhongxiang Zhou, Rong Xiong, Wenqi Zhang, Jianwei Yin, Yueting Zhuang, Xuhong Zhang

分類: cs.RO

原文アブストラクト

Although Large Vision-Language Models (VLMs) have significantly advanced embodied navigation, their direct deployment remains challenging, as existing methods often force VLMs into unnatural action spaces that misalign with their 2D pre-training priors, compounded by rigid reasoning schedules and inefficient memory management. To overcome these limitations, we propose TAMP-Nav, a unified framework for efficient embodied navigation. First, we introduce a Pixel-to-3D Action Formulation (Point) that reformulates navigation into 2D visual prompting. Specifically, the VLM merely selects 2D pixels, which are then projected into 3D coordinates for a low-level SLAM controller. This design naturally aligns embodied execution with the VLM's inherent 2D visual capabilities. Second, we propose an integrated Selective Reasoning and Anchor-Trajectory Memory mechanism (Think and Memorize), which dynamically triggers Chain-of-Thought and retains high-fidelity memory only at critical nodes, compressing redundant trajectories into lightweight Space-Time Indicators, thereby preserving critical historical information and enhancing spatio-temporal perception. Finally, we design an efficient Two-Level Alignment Paradigm (Align) via Group Relative Policy Optimization (GRPO). By superimposing global outcome rewards with fine-grained process rewards, this dense supervision tightly aligns the agent's cognitive planning with physical environmental feedback, endowing the model with adaptive reasoning capabilities. Experiments demonstrate that TAMP-Nav achieves state-of-the-art performance (e.g., 66.2% SR on R2R-CE) with high runtime and sample efficiency (requiring only 90k training trajectories).

arXivで原文を読む →arXiv概要ページ

← 論文一覧