2AM: 長期ホライズン操作における操縦可能な行動モデルのためのエージェント側記憶の基盤化

- 長期的なロボット操作(long-horizon manipulation)のための新しい枠組み 2AM を提案。 - タスク記憶(task memory)を Action Model の内部ではなく、マルチモーダル Agent 側に置く設計。 - Agent が唯一の記憶保持者となり、単一の RGB ベースでエピソード的にステートレスな Action Model が唯一の運動実行者となる。 - Agent は相互作用履歴をサブタスク言語と任意の 2D grasp/place/move ヒントにコンパイルし、異なる時間スケールで物理的意図を束縛する。 - 対象は長期的操作タスクで、LIBERO-Mem で評価。

- 既存の agentic システムは VLA と planner、幾何ツールを組み合わせ、深度やキャリブレーション済み幾何を使うことがある。 - それらは帰属が曖昧で、性能向上が豊富な観測か代替の運動ツールによるものか、失敗が policy か不十分な言語インターフェースによるものか切り分けにくい。 - 2AM は意図的に制約した設計(ツールの広さを減らし、インターフェース帯域を増やす)でこの問題を切り分ける。 - 深度・オンライン幾何・planner ベースの物体運動なしで、LIBERO-Mem において平均完了率 76.3% を達成。 - これは報告されている最強ベースライン 14.8% から 61.5 ポイントの改善。

- マルチモーダル Agent がタスク記憶を唯一保持し、単一の RGB ベースでエピソード的にステートレスな Action Model が運動を実行。 - Agent は相互作用履歴をサブタスク言語と任意の 2D grasp/place/move ヒントにコンパイル。 - ヒントは異なる時間スケールで物理的意図を束縛する。 - VLA にこの操縦性(steerability)を教えるため、デモンストレーションに構造化ヒントラベルを付与。 - 条件ドロップアウト(condition dropout)、空間ノイズ(spatial noise)、時間ジッター(temporal jitter)下で訓練し、不完全な Agent 出力に耐性を持たせる。

- LIBERO-Mem ベンチマークで評価。 - 深度、オンライン幾何、planner ベースの物体運動なしで、平均完了率 76.3% を達成。 - 最強報告ベースライン 14.8% から 61.5 ポイント改善。 - 緩和成功(relaxed success) 63.0%、厳密成功(strict success) 11.8% も報告。

- タスク記憶は Agent 側に置けることを結果が示す。 - Action Model の能力は policy が何を学習したかだけでなく、Agent がどれだけ精密に操縦できるかに依存することを示す。 - 制約設計により、性能向上や失敗の帰属を切り分けられる。 - 具体的な限界や失敗事例、計算コスト、他のタスクへの一般化については要旨からは不明。

- 要旨で参照/比較されている研究: 最強報告ベースライン(14.8%)、VLA、planner、幾何ツールを組み合わせた agentic システム。 - 関連手法: LIBERO-Mem ベンチマーク、VLA(視覚言語行動モデル)、マルチモーダル Agent。 - 同分野の定番: 長期的操作(long-horizon manipulation)のための memory-augmented policy、RT-2 や OpenVLA などの VLA、SayCan などの言語条件付き planner。