日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.18478

MemoryVLN: 自己認識型メモリ表現から視覚言語ナビゲーションにおける文脈横断的メモリ再利用へ

MemoryVLN: From Ego-Aware Memory Representation to Cross-Context Memory Reuse in Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

長期的な視覚言語ナビゲーションの履歴を圧縮し、自己中心的な空間情報を含むメモリを構築・管理・再利用する統合ナビゲーションシステムを提案。

詳しい要約

1. どんなもの？

- LVLMを用いたembodied VLNの長horizon問題に対処する記憶駆動型ナビゲーションシステムMemoryVLNを提案。 - 記憶構築と記憶管理の2段階で構成。 - 記憶構築ではLong Sequence CompressionとEgo-Aware Memory Representationを採用。 - 記憶管理ではHierarchical Memory BankとMemory Enhancementを採用。 - 生のナビゲーション履歴を圧縮・空間接地・選択的検索可能な経験に変換する。

2. 先行研究と比べてどこがすごい？

- LVLMはcontext-length制限、冗長な履歴観測、時間を跨いだ不安定な空間整合性により長horizonで性能劣化する。 - 既存手法は長い履歴の圧縮と過去の空間経験の再利用が困難。 - MemoryVLNは記憶構築と管理を統合し、これらの制限を克服。 - R2R-CEとRxR-CEでstate-of-the-artベースラインを成功率でそれぞれ2%と6.5%上回る。

3. 技術・手法の肝は？

- Long Sequence Compression: forgetting-curveに着想を得た時間サンプリングで、限られたtoken予算下で直近の密な証拠と遠方の疎だが代表的な観測を保持。 - Ego-Aware Memory Representation: 2D semantic tokens、3D geometric tokens、6D agent posesを統合し、何をどこで観測したかを記憶に符号化。 - Hierarchical Memory Bank: cross-context warm-startとconfidence-controlled write-backにより、episode内記憶とcontext-level記憶を維持。 - Memory Enhancement: 現在のナビゲーション状態に応じてTop-K関連記憶を検索し、現在のvisual tokensと融合。

4. どうやって有効だと検証した？

- R2R-CEとRxR-CEでの広範な実験。 - state-of-the-artベースラインに対し成功率で2%および6.5%の一貫した改善を確認。 - 詳細な検証方法（アブレーション等）は要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - 提案手法の限界や失敗ケース、計算コスト、メモリ管理のオーバーヘッドに関する議論は記載されていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: R2R-CE、RxR-CEのstate-of-the-artベースライン（具体的名称は要旨からは不明）。 - 関連手法: LVLMを用いたembodied VLN、forgetting-curveに基づくサンプリング、cross-context warm-start、confidence-controlled write-back。 - 同分野の定番: R2R、RxR、VLN-CE、HAMT、DUET、NaVidなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xueyao Wei, Yifei Wang, Delun Li, Shaoan Wang, Junzhi Yu, Wenjie Song, Xingyu Chen

分類: cs.RO, cs.AI

原文アブストラクト

Large vision-language models (LVLMs) have shown strong potential for embodied vision-language navigation (VLN), yet their performance degrades on long-horizon trajectories due to context-length limits, redundant historical observations, and unstable spatial alignment across time. These issues make it difficult to both compress long navigation histories and reliably reuse past spatial experience. To address these limitations, we propose \textbf{MemoryVLN}, a unified memory-driven navigation system built around memory construction and management. During memory construction, \emph{Long Sequence Compression} employs forgetting-curve-inspired temporal sampling to preserve dense recent evidence and sparse yet representative distant observations under a limited token budget. \emph{Ego-Aware Memory Representation} further integrates 2D semantic tokens, 3D geometric tokens, and 6D agent poses, allowing each memory to encode both what was observed and where it was observed. During memory management, \emph{Hierarchical Memory Bank} maintains in-episode and context-level memories through cross-context warm-start and confidence-controlled write-back. \emph{Memory Enhancement} then retrieves the Top-$K$ relevant memories according to the current navigation state and fuses them with the current visual tokens. Together, these mechanisms transform raw navigation history into compact, spatially grounded, selectively retrievable, and reusable navigation experience. Extensive experiments on R2R-CE and RxR-CE demonstrate consistent improvements over the state-of-the-art baselines by a substantial margin (i.e., 2\% and 6.5\% in successful rate).

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI