日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.26408

SparseNav: 指示条件付きスパース意味知覚による訓練不要な視覚言語ナビゲーション

SparseNav: Instruction-conditioned Sparse Semantic Perception for Training-Free Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

現在の指示に必要なランドマークだけをオンデマンドで知覚し、軽量なBEV地図とスパースな記憶でVLMプランナを導く、訓練不要の視覚言語ナビゲーション手法。

詳しい要約

1. どんなもの？

- 指示条件付きの疎な意味知覚による、訓練不要のVision-Language Navigation (VLN) フレームワーク。 - 軽量な幾何学的bird's-eye-view (BEV) マップと疎なlandmark memoryを永続的に保持。 - 現在の指示のactive sub-instructionに基づき、必要な意味情報のみをオンデマンドで取得。 - VLMプランナーがhybrid frontierとlocal directional waypoint候補から選択するのを支援。

2. 先行研究と比べてどこがすごい？

- 従来のmap-based VLNは指示に不要な意味情報まで蓄積し、知覚コストと無関係なアノテーションを生む問題があった。 - SparseNavはless-is-more原則に基づき、必要な意味のみをオンデマンドで取得。 - 計算浪費と視覚空間表現の混乱を抑制しつつ、訓練不要で動作。 - R2R-CE Val-Unseenで42.8%、RxR-CE Val-Unseenで40.7%の成功率を達成。

3. 技術・手法の肝は？

- instruction managerがナビゲーション進捗を追跡し、active landmark queryを特定。 - instruction-conditioned perception mechanismが、クエリされたlandmarkが可視かつそのmetric locationが次の決定に寄与する場合にopen-vocabulary segmentationを起動。 - 得られたlandmark memoryを基に、VLMがhybrid frontierとlocal directional waypoint候補を選択。 - 訓練は一切不要。

4. どうやって有効だと検証した？

- R2R-CEとRxR-CEのVal-Unseenスプリットで成功率42.8%と40.7%を達成。 - 意味知覚戦略と各フレームワーク構成要素の寄与を制御されたablationで検証。 - Unitree Go2四足歩行ロボットにIntel RealSense D455 RGB-DカメラとLivox MID-360 LiDARを搭載し、事前地図なしで複数の屋内環境に展開。 - instruction-conditioned waypoint navigationの有効性を検証。

5. 議論はある？

- 意味知覚戦略と個々のコンポーネントの寄与についてablationで議論。 - 訓練不要で実ロボットに展開可能であることを示す。 - 具体的な限界や失敗事例、計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてmap-based VLN、open-vocabulary segmentation、VLMプランナー、frontier-based exploration、landmark memory、R2R-CE、RxR-CEなどが挙げられる。 - 同分野の定番としてVision-Language Navigation (VLN) やEmbodied AIの研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quanhua Chen, Juhan Kang, Runfeng Lin, ZiFei Zhang, Enquang Feng, Chunran Zheng, Xiwang Dong, Jiarong Lin

分類: cs.RO

原文アブストラクト

Map-based vision-language navigation (VLN) relies on persistent spatial representations to connect language understanding with geometric planning. However, acquiring semantics beyond the needs of the current instruction can introduce unnecessary perception cost and irrelevant annotations. Continuously accumulating unrelated objects may not only waste computation, but also clutter the visual-spatial representation consumed by the vision-language model (VLM) planner. To address this problem, we present SparseNav, a training-free framework that follows a less-is-more principle for semantic navigation. SparseNav persistently maintains a lightweight geometric bird's-eye-view (BEV) map and sparse landmark memory, acquiring new semantics on demand using the active sub-instruction to decide what is worth grounding. An instruction manager first tracks navigation progress and identifies the active landmark query. An instruction-conditioned perception mechanism then invokes open-vocabulary segmentation when the queried landmark is visible and its metric location can inform the next decision. The resulting landmark memory supports VLM selection among hybrid frontier and local directional waypoint candidates. Without any additional training, SparseNav achieves success rates of 42.8% on R2R-CE and 40.7% on RxR-CE, both on the Val-Unseen splits. Controlled ablations examine semantic perception strategies and the contributions of individual framework components. Furthermore, we successfully deployed SparseNav on a Unitree Go2 quadruped equipped with an Intel RealSense D455 RGB-D camera for geometric mapping and landmark grounding and a Livox MID-360 LiDAR for localization, without a prebuilt map. We validated its effectiveness across multiple indoor environments using instruction-conditioned waypoint navigation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI