日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.21362

潜在遷移メモリ:視覚言語行動モデルのための文脈内記憶

LTM: Latent Transition Based In-Context Memory for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

連続する観測間の潜在遷移として履歴を保存するLTMを提案し、π0.5に適用したLTM-πが記憶特化の注釈や外部推論モデルなしでロボット操作タスクの成功率を大幅に向上させることを示した。

詳しい要約

1. どんなもの?

- ロボット操作で見えなくなった過去の相互作用を記憶する手法 - Latent Transition Memory (LTM) を提案 - 連続する観測間のコンパクトな潜在遷移として履歴を保存 - π_{0.5} 上に実装した LTM-π を構築 - 視覚-言語-行動モデル (Vision-Language-Action Models) 向け

2. 先行研究と比べてどこがすごい?

- 外部推論モデルや記憶専用の意味アノテーションを必要としない - それらを用いないベースラインの中で最高性能 - RoboMME で 58.54%、LIBERO-Mem で 80.5% の成功率 - 時間的手がかりを超えた遷移内容の寄与をアブレーションで支持 - 遅延メモリ導入の効率性も示す

3. 技術・手法の肝は?

- 凍結した latent action encoder を使用 - 軽量な adapter を組み込む - causal KV caching により増分推論を実現 - 記憶専用の意味アノテーションや外部推論モデル呼び出しが不要 - DreamDojo transitions を利用

4. どうやって有効だと検証した?

- RoboMME と LIBERO-Mem でベースラインと比較 - RoboMME のデモを10倍にスケールし成功率が 57.67% から 87.50% に向上 - Cup Swap 診断で時間的構成におけるプロセス監督の役割を確認 - 200トークンのメモリ予算下でも成功率 84.00% を維持(非圧縮時 87.50%) - 実機ロボットのカウントタスクで 11.25% から 82.50% に改善

5. 議論はある?

- 潜在遷移メモリの有効性、スケーラビリティ、効率性を実証 - 複雑な時間情報の扱い、限定コンテキストでの動作、実世界ロボット制御への適用可能性を示す - メモリ予算下での性能低下は限定的 - プロセス監督が時間的構成に寄与することを示唆 - 詳細な限界や失敗事例は要旨からは不明

6. 次に読むべき論文は?

- π_{0.5}(LTM-π のベースモデル) - DreamDojo transitions(使用データ) - RoboMME、LIBERO-Mem(評価ベンチマーク) - 外部推論モデルや記憶専用アノテーションを用いる既存手法(比較対象) - 関連する Vision-Language-Action モデルやメモリ機構の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qixin Sun, WenLong Gao, Xiansheng Chen, Zhongyuan Wang, Si Liu, Pengwei Wang

分類: cs.RO, cs.AI

原文アブストラクト

Robotic manipulation often requires remembering interactions that are no longer visible. We introduce Latent Transition Memory (LTM), which stores history as compact latent transitions between consecutive observations. Instantiated on $π_{0.5}$ as LTM-$π$, our method uses a frozen latent action encoder, a lightweight adapter, and causal KV caching for incremental inference without memory-specific semantic annotations or external reasoning-model calls. With DreamDojo transitions, LTM-$π$ achieves 58.54% success on RoboMME and 80.5% on LIBERO-Mem, performing best among baselines without external reasoning models or memory-specific annotations. Ablations support the contribution of transition content beyond temporal cues and the efficiency of delayed memory admission. Scaling RoboMME demonstrations tenfold improves success from 57.67% to 87.50%, while a Cup Swap diagnostic highlights the role of process supervision in temporal composition. Under a 200-token memory budget, success remains 84.00%, versus 87.50% without compression. Finally, real-robot counting success improves from 11.25% to 82.50%. Together, these results demonstrate the effectiveness, scalability, and efficiency of latent transition memory, highlighting its capacity for complex temporal information, bounded-context operation, and real-world robotic control.

関連論文

PR本紙発行元 EmplifAI