マニピュレーション2026/8/9arXiv:2608.08749v1

OnEvoMemory: 事前学習済みロボットポリシーのためのオンラインロールアウトによる記憶進化

OnEvoMemory: Evolving Memory through Online Robot Rollouts for Pretrained Robot Policies

長期的なロボット操作タスクにおいて、事前学習済みポリシーに価値誘導型の記憶モジュールを追加し、オフラインのデモとオンラインのロールアウトから保持すべき経験を学習させることで、タスクの段階遷移を認識し、完了済みのサブタスクの繰り返しを防ぐ手法を提案した。

詳しい要約

1. どんなもの？

OnEvoMemoryは、事前学習済みロボットポリシー（VLAポリシー）向けの価値誘導型メモリモジュールである。長期ホライズンの操作タスクにおいて、完了したサブタスクや重要なインタラクションイベントを追跡するために、最近のコンテキスト、高価値な経験、顕著な遷移を保持し、軌道の結果からどの経験を保持すべきかを学習する。オフラインのデモンストレーションでメモリの事前分布を初期化し、オンラインのロールアウト（成功・失敗）でメモリ選択を洗練させる。

2. 先行研究と比べてどこがすごい？

既存のメモリ機構は外部モデルや事前定義された更新ルールに依存することが多いが、OnEvoMemoryはタスクの軌道結果から直接メモリ選択を学習する点が新しい。また、オフライン初期化とオンライン進化を組み合わせることで、事前学習ポリシーの性能を向上させる点が先行研究と異なる。

3. 技術・手法の肝は？

手法の核は、価値ガイドによるメモリ更新である。メモリは最近のコンテキスト、高価値な経験、顕著な遷移の3種類を保持し、オンラインロールアウトの成功・失敗からどの経験を保持すべきかを学習する。オフラインのデモンストレーションで初期化されたメモリ事前分布を、オンラインの軌道結果で更新することで、タスクステージの遷移を認識し、完了済みサブタスクの繰り返しを回避する。

4. どうやって有効だと検証した？

長期ホライズン操作ベンチマークを用いて、ベースとなるVLAポリシーに対する性能向上を検証した。オフライン初期化とオンライン進化の両方が有効であることを実験で示した。具体的な数値や比較対象は要旨からは不明。

5. 議論はある？

要旨からは、メモリの容量や更新頻度、計算コスト、他のポリシーへの一般化、実機での検証などに関する議論は不明。また、オンラインロールアウトの失敗をどう扱うか、メモリ選択の学習にどのような報酬信号を用いるかなどの詳細も不明。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連する分野として、VLAポリシー（Vision-Language-Action models）、長期ホライズン操作、メモリ機構（例：External Memory, Neural Turing Machine）、オフライン強化学習、オンライン適応などが挙げられる。具体的には、RT-2やOctoなどのVLAモデル、またはメモリ強化型ポリシーの研究を読むと良い。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongxi Chen, Shenqi Zong

分類: cs.RO

原文アブストラクト

Long-horizon robot manipulation requires policies to track completed subtasks and critical interaction events. However, existing memory mechanisms heavily rely on external models or predefined update rules. To address this, we propose OnEvoMemory, a value-guided memory module for pretrained robot policies. It maintains recent context, high-value experiences, and salient transitions, while learning which experiences should be retained from trajectory outcomes. Offline demonstrations initialize the memory prior, whereas successful and unsuccessful online rollouts refine memory selection, helping the policy recognize task-stage transitions and avoid repeating completed subtasks. Experiments on long-horizon manipulation benchmarks show that OnEvoMemory improves the performance of the base VLA policy through both offline initialization and online memory evolution.

arXivで原文を読む →arXiv概要ページ

← 論文一覧