日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.35066

MemVLN: 視覚言語ナビゲーションのためのストリーミングエピソード記憶

MemVLN: Streaming Episodic Memory for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

圧縮した知覚特徴を時系列と相対姿勢付きで保持する有界な記憶バンクとクロスアテンションによる記憶トークン生成を提案し、長期的な視覚言語ナビゲーションの性能を向上させた研究。

詳しい要約

1. どんなもの？

- VLN（Vision-Language Navigation）向けのストリーミング型エピソード記憶フレームワーク MEMVLN の提案 - 圧縮した知覚特徴を timestep と action 由来の相対 pose 付きで有界なバンクに保持 - cross-attention によりコンパクトな memory token を生成 - frozen な pretrained geometry encoder と組み合わせる - 長期的ナビゲーションにおける VLM ベースのストリーミングエージェントの記憶維持課題に対処

2. 先行研究と比べてどこがすごい？

- 標準的な VLN-CE ベンチマーク上で、報告されているほとんどの指標において state-of-the-art を達成 - ナビゲーション学習は公式の R2R/RxR trajectories に限定 - 物理環境での評価では、VLM baseline の success 17% を 40% に改善 - post-training によりさらに 47% まで向上 - 長期的ナビゲーション分析により、エピソード記憶が有効となる条件を特徴づけ

3. 技術・手法の肝は？

- 圧縮された知覚特徴を timestep と action 由来の相対 pose で注釈した有界な memory bank を維持 - cross-attention によりコンパクトな memory token を生成 - frozen な pretrained geometry encoder と組み合わせる - masking ベースの trajectory summarization task を設計 - multi-granularity な sub-trajectory 分解を導入 - エピソード記憶のみからの経路再構成を促す学習

4. どうやって有効だと検証した？

- 標準的な VLN-CE ベンチマークで評価し、報告されているほとんどの指標で state-of-the-art を達成 - 長期的ナビゲーション分析を実施 - 物理評価では 1 つの物理シーンで instruction 条件付きの 30 episodes を収集 - 24 episodes を post-training 用の demonstrations として使用し、6 episodes をテスト用に保持 - held-out episodes で success が VLM baseline の 17% から 40% へ改善、post-training で 47% に向上

5. 議論はある？

- 長期的ナビゲーション分析により、エピソード記憶が有用となる条件を特徴づけ - 物理評価は 1 シーン・30 episodes と小規模 - ナビゲーション学習は公式の R2R/RxR trajectories に限定 - 記憶モジュールの限界や失敗事例に関する詳細は要旨からは不明

6. 次に読むべき論文は？

- R2R - RxR - VLN-CE - VLM ベースのナビゲーションエージェントに関する研究 - cross-attention を用いた記憶モジュールに関する研究 - trajectory summarization に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yan Wang, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

分類: cs.CV

原文アブストラクト

Vision-language navigation (VLN) requires an embodied agent to follow language instructions through 3D environments. Maintaining persistent episodic memory remains a challenge for VLM-based streaming agents in long-horizon navigation. We present MEMVLN, a streaming episodic memory framework that maintains a bounded bank of compressed perceptual features annotated with timesteps and action-derived relative poses, and produces compact memory tokens via cross-attention. We pair the proposed memory with a frozen pretrained geometry encoder. To learn the memory module, we design a masking-based trajectory summarization task with multi-granularity sub-trajectory decomposition, encouraging route reconstruction exclusively from episodic memory. Under navigation training restricted to the official R2R/RxR trajectories, MEMVLN achieves state-of-the-art performance on most reported metrics on standard VLN-CE benchmarks. Long-horizon analyses further characterize when episodic memory is useful. For physical evaluation, we collect 30 instruction-conditioned episodes in one physical scene, use 24 as demonstrations for post-training, and hold out six for testing. On the held-out episodes, MEMVLN improves success over the VLM baseline from 17% to 40%, and post-training further raises it to 47%.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI