MemBodied: 視覚-言語-行動モデルのための再帰的連想記憶

Vision-Language-Action (VLA) モデルに、episode レベルの情報を保持・活用させるための固定サイズの episodic memory「MemBodied」を提案する研究。 - 対象は history-dependent な manipulation タスク。 - 現在の観測だけでなく、過去の観測にしかない情報を必要とするタスクで有効。 - メモリは 2 要素: ポリシー呼び出し間の相互作用を記録する associative state と、初期 scene の compact 表現を保持する episode anchor。 - 各 policy call で、過去観測を直接使わず、現在入力とメモリに条件付けて action を生成。

従来の VLA ポリシーの多くは、現在の観測を超えた episode レベル情報を保持・活用しない。 - 過去観測を context に保持する方法は、context の肥大化と推論遅延の増大を招く。 - MemBodied は固定サイズメモリでこの問題を回避。 - RMBench の memory 必須 5 タスクで、stateless policy の 7.81 倍、vanilla recurrent memory の 2.98 倍の平均成功率。 - 最強の memory-augmented baseline を 1.3 倍上回り、追加パラメータは 10 分の 1。 - 完全観測の LIBERO-Long でも 90.6% を達成し、stateless π0 より 5.4% 改善。

固定サイズの episodic memory を VLA に組み込む。 - associative state: policy call 間の相互作用を記録。 - episode anchor: 初期 scene の compact 表現を参照として保持。 - 各 policy call で、現在入力とこれらメモリ要素に条件付けて action を生成。 - 過去観測を直接 context に積まず、メモリ経由で情報を利用。 - これにより context 肥大化と推論遅延を抑える。

RMBench の memory を要する 5 タスクで評価。 - stateless policy の 7.81 倍、vanilla recurrent memory の 2.98 倍の平均成功率。 - 最強の memory-augmented baseline を 1.3 倍上回り、追加パラメータは 10 分の 1。 - 完全観測の LIBERO-Long suite で 90.6% を達成。 - stateless π0 policy より 5.4% 改善。

history-dependent manipulation において、policy context を拡大する代わりに固定サイズメモリを使う実用的代替案として MemBodied を支持する結果。 - ただし、要旨からは失敗事例や限界、計算コストの詳細は不明。 - 一般化や他タスクへの適用可能性についての議論は要旨からは不明。

要旨で参照・比較されている研究: RMBench、LIBERO-Long、π0、vanilla recurrent memory、memory-augmented baseline。 - 関連手法として Vision-Language-Action models、recurrent memory、episodic memory を扱う研究。 - 同分野の定番として、manipulation 向け VLA ポリシーや memory-augmented policy の論文を挙げる。