日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.37187

InsightMap: 身体性マルチモーダル推論のための構造化空間モデリング

InsightMap: Structured Spatial Modeling for Embodied Multimodal Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

トップダウンマップを空間メモリと行動予測の両方に使う枠組みを提案し、ナビゲーションや空間推論タスクで高い性能を達成した。

詳しい要約

1. どんなもの？

- 言語誘導ナビゲーションのための枠組み InsightMap を提案。 - トップダウンマップを明示的な空間メモリと行動条件付き予測ターゲットとして利用。 - 履歴ビューをラベル付きマップ位置にリンクし、共有マルチモーダルバックボーンでナビゲーション行動予測と行動後マップ生成を同時学習。 - マップ予測は補助的な訓練監督として機能し、ナビゲーション推論は観測空間文脈から行動をデコード。 - 整列された RGB-D データパイプラインにより、ナビゲーション、VQA、状況推論、3D グラウンディングの共通インターフェースを提供。

2. 先行研究と比べてどこがすごい？

- 従来の言語誘導ナビゲーションは部分観測を永続的な空間参照に結びつけ、行動が表現を変える学習が課題。 - InsightMap はトップダウンマップを空間メモリと予測ターゲットの両方に使う点が新しい。 - マップ予測監督の追加で R2R-CE の SR が 4.3、SPL が 3.2 ポイント改善。 - 静的空間タスクでも ScanQA、SQA3D、ScanRefer で高い性能。 - Unitree Go2 で NaVid や NaVILA を hallway、lab、office 環境で上回る。

3. 技術・手法の肝は？

- トップダウンマップを明示的空間メモリかつ行動条件付き予測ターゲットとして使用。 - 履歴ビューをラベル付きマップ位置にリンク。 - 共有マルチモーダルバックボーンでナビゲーション行動予測と行動後マップ生成を共同学習。 - マップ予測は補助訓練監督、ナビゲーション推論は観測空間文脈から行動をデコード。 - 整列 RGB-D データパイプラインでナビゲーション、VQA、状況推論、3D グラウンディングの共通インターフェースを実現。

4. どうやって有効だと検証した？

- R2R-CE と RxR-CE の validation-unseen 分割で評価。 - InsightMap は SR 56.9% と 54.9% を達成。 - マップ予測監督追加で R2R-CE の SR が 4.3、SPL が 3.2 ポイント改善。 - 静的空間タスク: ScanQA で 103.7 CIDEr、SQA3D で 60.1% exact-match、ScanRefer で検出物体提案使用時 0.5 IoU で 53.1% grounding accuracy。 - Unitree Go2 で hallway、lab、office 環境において NaVid と NaVILA を上回る。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- NaVid - NaVILA - R2R-CE - RxR-CE - ScanQA - SQA3D - ScanRefer

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongpei Zheng, Hujun Yin

分類: cs.CV, cs.RO

原文アブストラクト

Language-guided navigation requires connecting partial observations to a persistent spatial reference and learning how actions change that representation. We introduce InsightMap, a framework that uses top-down maps as both explicit spatial memory and action-conditioned prediction targets. Historical views are linked to labeled map locations, and a shared multimodal backbone jointly learns navigation action prediction and post-action map generation. Map prediction provides auxiliary training supervision, while navigation inference decodes actions from the observed spatial context. An aligned RGB-D data pipeline supports a common interface for navigation, visual question answering, situated reasoning, and 3D grounding. On the validation-unseen splits of R2R-CE and RxR-CE, InsightMap achieves success rates (SR) of 56.9% and 54.9%, respectively. Adding map-prediction supervision improves R2R-CE SR by 4.3 and success weighted by path length (SPL) by 3.2 percentage points. On static spatial tasks, InsightMap achieves 103.7 CIDEr on ScanQA, 60.1% exact-match accuracy on SQA3D, and 53.1% grounding accuracy at 0.5 IoU on ScanRefer with detected object proposals. On Unitree Go2, it outperforms NaVid and NaVILA in hallway, lab, and office environments.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI