日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.34251

長期視野VLAのための変分認知メモリ抽象化

Variational Cognitive Memory Abstraction for Long-Horizon Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデル向けに、軌道を圧縮した潜在メモリとして選択的に保持・再利用する変分認知メモリ機構を提案し、長期マニピュレーション性能を向上させた論文。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの長期記憶フレームワーク CogMemory を提案 - 長期的タスク実行における長期記憶モデリングの不足を課題として設定 - マルチモーダル軌跡を圧縮された潜在記憶表現として保持・再利用 - 追加パラメータはわずか 3.45M で軽量 - early-fusion と intermediate-fusion の両 VLA backbone に適合

2. 先行研究と比べてどこがすごい?

- 既存手法の限界を2種類指摘 - ポリシーネットワーク内の暗黙的な時間表現: 履歴情報が徐々に希釈される - 明示的なメモリバッファ: 冗長性、ノイズ蓄積、非効率な検索に悩まされる - 提案手法はタスク関連履歴を選択的に保持・再利用 - 冗長性とノイズを variational information compression で抑制 - 軽量(3.45M)ながら複数 backbone で一貫した改善を報告

3. 技術・手法の肝は?

- 選択的 state-space memory encoder でマルチモーダル軌跡を符号化 - multi-slot temporal abstraction で時間的な抽象化を実施 - variational information compression でコンパクトな潜在記憶表現を生成 - 行動生成時には dynamic cross-attention retrieval と gated fusion を併用 - 関連記憶を適応的にポリシー予測へ統合

4. どうやって有効だと検証した?

- 長期的ロボットマニピュレーションのベンチマークで実験 - 多様な VLA backbone に対して一貫した改善を確認 - 具体的なベンチマーク名・指標・数値は要旨からは不明

5. 議論はある?

- 追加パラメータ 3.45M の軽量性と backbone への適合性を主張 - 冗長性・ノイズ蓄積・非効率検索への対処を動機として提示 - 限界や失敗ケース、計算コストの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として示唆される既存アプローチ - ポリシーネットワーク内の暗黙的時間表現を用いる VLA 手法 - 明示的メモリバッファを用いる手法 - 関連技術として state-space model、variational information compression、cross-attention retrieval、gated fusion - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyu Liu, Daiying Tian, Chenwei Tang, Ruyang Han, Chengyang Zhang, Qingyu Zeng, Wei Ju, Liangli Zhen, Jiancheng Lv

分類: cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models have shown remarkable success in robotic manipulation, yet their ability to execute long-horizon tasks remains limited by insufficient long- term memory modeling. Existing methods either rely on implicit temporal representations within policy networks, where historical information can be gradually diluted, or maintain explicit memory buffers that suffer from redundancy, noise accumulation, and inefficient retrieval. In this paper, we propose CogMemory, a novel variational cognitive memory framework that enables VLA systems to selectively preserve and reuse task-relevant historical information. Our approach encodes multimodal trajectories into compact latent memory representations through a selective state- space memory encoder, multi-slot temporal abstraction, and variational information compression. During action generation, dynamic cross-attention retrieval with gated fusion adaptively incorporates relevant memories into policy prediction. With merely 3.45M additional parameters, CogMemory stays lightweight and seamlessly fits both early- and intermediate-fusion VLA backbones. Extensive experiments on long-horizon robotic manipulation benchmarks demonstrate consistent improvements across diverse VLA backbones.

関連論文

PR本紙発行元 EmplifAI