何が起きたか

ActMemの論文が2026年11月19日にarXivに掲載された。過去の相互作用履歴から現在のサブタスクを推定する記憶推論と、現在の視覚情報に基づく行動制御を分離するVLA(Vision-Language-Action)フレームワークを提案した。RoboMemArenaでタスク成功率71.1%、完了成功率80.8%を達成し、実世界の記憶タスクでは平均成功率68.8%だった。

詳細

ActMemは、タイムスタンプ付きの相互作用履歴からサブタスクを推定し、その推論で形成される隠れ状態を「Latent Memory Chain-of-Thought(Memory CoT)」として保持する。この状態がフローマッチング方式の行動エキスパートを条件づける一方、「Perception Attention」によりエキスパートは現在の視覚入力にも直接注意を向ける。 長い履歴を扱う際の推論を速める手法として、連続する意思決定間で計算を再利用する「Efficient Memory CoT Inference」も導入した。論文によると、MIKASA-Roboで平均成功率73.8%を記録し、比較対象の中で最高だった。実世界では外因性・内因性・痕跡のない記憶タスクを合わせて平均成功率68.8%で、最も強い記憶拡張VLAを10.0ポイント上回った。コードとチェックポイントは公開予定としている。

Key Facts

ActMemは、記憶推論と現在の視覚に基づく行動制御を分離するインコンテキスト記憶フレームワークとして提案された。[1]
RoboMemArenaでタスク成功率71.1%、完了成功率80.8%を達成し、最も強いベースラインをそれぞれ7.5ポイント、8.7ポイント上回った。[1]
MIKASA-Roboで平均成功率73.8%を記録し、比較対象の中で最高だった。[1]
実世界の外因性・内因性・痕跡のない記憶タスクで、平均成功率68.8%を達成した。[1]
論文はコードとチェックポイントを公開予定としている。[1]

本紙の見方

ActMemの設計上の焦点は、記憶を単に過去の観測の検索結果として使うのではなく、履歴から「今どのサブタスクにいるか」を推定する処理として置いた点にある。論文は既存の記憶拡張VLAについて、過去の観測を取り出しても意味を推論しない方式と、全履歴を現在の知覚と同じ文脈に入れてしまう方式を課題として挙げる。これに対し、Memory CoTが履歴由来の推論を担い、Perception Attentionが現在の視覚を行動エキスパートへ渡す構成は、履歴と現状を一つの入力列に押し込む設計から、機能ごとに分ける方向への提案と読める。 ただし、別々のモデルを組み合わせるのではなく、単一の視覚言語バックボーン内で記憶推論と知覚接地を分ける点も特徴だ。履歴から推定したサブタスクが行動生成を条件づけ、現在画像もエキスパートが直接参照するため、過去の文脈が現在の視覚を置き換えるのではなく、両者が異なる役割で行動に寄与する構造になる。さらに、連続する意思決定で計算を再利用する設計は、履歴を使う能力と推論負荷を両立させようとするものだが、抄録には遅延時間や計算量の数値は示されていない。 評価値は、RoboMemArenaでベースラインを7.5ポイント、完了成功率では8.7ポイント上回り、実世界タスクでも最強の記憶拡張VLAより10.0ポイント高かったと報告されている。ベンチマークと実世界の双方に結果を示したことは、特定のシミュレーション評価だけに依存しない検証を意図したものといえる。一方、これらの成功率だけから、異なるロボット、作業環境、長さの履歴でも同じ優位性が得られるとは判断できない。抄録からはタスク数、試行数、ロボット構成、実行時の遅延、失敗の内訳を確認できず、数値の適用範囲を読む際の条件となる。 今後見るべきなのは、Memory CoTの保持・更新がどの条件で誤ったサブタスク推定につながるか、計算再利用が実際の制御周期にどう影響するか、そして記憶推論と現在視覚の分離が履歴の長さや環境変化に対してどこまで保たれるかだ。公開予定のコードとチェックポイントを用いた再現評価や、成功率以外の実行時間・失敗分析が、手法の実用上の位置づけを判断する材料になる。

なぜ重要か

過去の観測を検索するだけでなく、履歴から現在のサブタスクを推定し、現在の視覚情報を別経路で行動生成に使う構成は、長期作業で記憶が現在の知覚を押しのけるという論文の問題設定に直接対応する。RoboMemArena、MIKASA-Robo、実世界タスクで成功率を報告したことで、この分離設計を複数の評価環境で検証する手がかりが示されたが、適用範囲の判断には実行時間や失敗条件の情報も必要だ。