HAVANA: 視覚言語ナビゲーションのための階層型ビデオ・アクションモデル
HAVANA: A Hierarchical Video-Action Model for Vision-Language Navigation
予測推論(遅い系)と反応的局所計画(速い系)を分離した二重システムのビデオ・アクションモデルを提案し、視覚言語ナビゲーションで最先端性能と実機での汎化を実証した。
著者: Dongzhihan Wang, Yi Du, Chen Wang, Xiuxian Li, Liang Xu
分類: cs.CV, cs.RO
原文アブストラクト
Vision-Language Navigation (VLN) requires long-horizon instruction-consistent planning and short-horizon local planning in current geometry. Video-action models (VAMs) offer a promising way to learn predictive representations for navigation. However, existing VAMs jointly predict visual futures and local trajectories in a single process, even though they operate at different paces: future prediction remains stable across multiple updates while local trajectories must react to fresh observations. To bridge this gap, we introduce HAVANA, a dual-system VAM that decouples predictive reasoning from reactive local planning. A slow system produces a compact language-conditioned latent plan from observation history, while a fast system combines the latest plan with the current observation to generate local trajectories. Their asynchronous execution enables rapid adaptation without repeated future prediction, and no future video is generated during inference. Experiments on OmniNavBench demonstrate state-of-the-art navigation performance over prior baselines, while real-world deployments further show robust generalization to unseen environments across different robot embodiments. Our code and checkpoints will be available at https://github.com/Anastasiawd/HAVANA.
関連論文
- 視覚言語ナビゲーションにおける物理的実行可能性ギャップの解明と橋渡し視覚言語ナビゲーション
- Talk2Escape: 対話による視覚言語ナビゲーションの閉ループ化視覚言語ナビゲーション
- FSD-VLN: 空中長距離視覚言語ナビゲーションのための高速・低速デュアルシステムモデリング視覚言語ナビゲーション
- SEDualVLN: 空間強化デュアルシステムによる視覚言語ナビゲーション視覚言語ナビゲーション
- Web動画からの暗黙的幾何表現を用いた視覚言語ナビゲーション視覚言語ナビゲーション
- RAGNav: マルチゴール視覚言語ナビゲーションのための検索拡張トポロジカル推論フレームワーク視覚言語ナビゲーション