記憶を計画として：記憶に基づく計画立案による世界行動モデリング

本論文は、非Markov的な長期的記憶を要するロボット操作タスク向けの枠組み MaP-WAM を提案する。 - 記憶を『計画(plans)』として扱い、memory-grounded planning と plan-conditioned execution に分解する。 - 長期の multimodal episodic context を実行器に毎回与えるのではなく、計画時の証拠として用いる。 - 記憶は言語指示と疎な視覚文脈を含む完了セグメント記録として表現する。 - これを次セグメントの言語計画と対応する視覚ガイダンスからなるコンパクトな計画に変換する。 - World-Action-Progress (WAP) モデルが未知長の各計画を実行し、action chunks と実行 progress を同時予測する。

既存の記憶機構との違いが主張されている。 - 従来は language summaries、増大する visual windows、またはその組合せに依存し、fine-grained visual evidence を失う可能性や、history coverage と execution efficiency のトレードオフがあった。 - MaP-WAM は記憶を計画に変換し、executor の context length を固定に保つ。 - その結果、タスク履歴が伸びても executor の推論遅延がほぼ一定に保たれる。 - RMBench で 83.3% の成功率、実機タスクで 78.0% の成功率を達成し state-of-the-art と主張する。

技術の肝は記憶を計画に変換し、計画条件付きで実行する点にある。 - 記憶を言語指示と疎な視覚文脈からなる完了セグメント記録として表現する。 - この episodic memory を次セグメントの言語計画と視覚ガイダンスを含むコンパクトな計画へ変換する。 - World-Action-Progress (WAP) モデルが未知長の計画を実行し、action chunks と execution progress を同時予測する。 - 推論時に plan-observation alignment で予測 progress を校正し、適応的なセグメント遷移と閉ループの context 更新を行う。 - structured attention により planning と execution の両方で key-value caching を可能にする。

RMBench と実機タスクで評価している。 - RMBench で 83.3% の成功率を達成し state-of-the-art と報告する。 - 実機タスクで 78.0% の成功率を達成する。 - タスク履歴が伸びても executor の推論遅延がほぼ一定であることを確認する。 - 詳細なベースライン比較やアブレーションの有無は要旨からは不明。

要旨で述べられている範囲の議論は以下。 - 既存記憶機構の fine-grained visual evidence の喪失や history coverage と execution efficiency のトレードオフを問題視する。 - 記憶を計画として扱うことで executor の context length を固定し、履歴増大時の遅延増加を抑える。 - 限界や失敗事例、計算コストの詳細、一般化性に関する議論は要旨からは不明。

要旨で参照・比較されている研究や関連手法を挙げる。 - language summaries に基づく記憶機構 - growing visual windows を用いる記憶機構 - それらの組合せによる記憶機構 - Markovian formulation のロボティックポリシー - 同分野の定番として long-horizon manipulation 向け memory-augmented policies や transformer-based policies