日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2611.00734

物体状態とタスク進捗の記憶による長期的モバイルマニピュレーション

MOST: Memory of Object States and Task Progress for Long-Horizon Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

多視点観測を時間トークンに圧縮し、物体状態とサブタスク進捗で明示的に監督するポリシー内蔵メモリを提案。長期的モバイル操作ベンチマークRoboCasa-Longも導入し、既存SOTAを上回る成功率を達成した。

詳しい要約

1. どんなもの？

- 長期的な mobile manipulation タスクのための policy 内部メモリフレームワーク MOST を提案 - 多視点観測を temporal tokens に圧縮し、object states と subtask progress で明示的に監督 - 過去と予測未来の両トークンを構造化し、単一の end-to-end policy 内で行動生成を条件付ける - 外部 planner や retrieval stage を必要としない - 併せて multi-minute・multi-stage のベンチマーク RoboCasa-Long を導入

2. 先行研究と比べてどこがすごい？

- 従来は recurrent state updates、test-time training、過去観測の保存・検索で時間的文脈を拡張 - これらは horizon が伸びると冗長で視点依存な視覚経験から task state を推論する負担が残る - MOST は『より多く覚える』のではなく『task に関連する状態変化と進捗を覚える』点が異なる - 外部 planner/retrieval なしの単一 end-to-end policy で実現 - 先行 SOTA の Xiaomi-Robotics-1 (XR-1) を複数ベンチマークで一貫して上回る

3. 技術・手法の肝は？

- 多視点観測を temporal tokens に圧縮する policy-internal memory - 過去トークンと予測未来トークンを object states および subtask progress で明示的に監督 - メモリを『世界の何が変わったか』『何が達成済みか』の周辺に構造化 - 構造化されたメモリが単一 end-to-end policy 内で行動生成を直接条件付ける - 外部 planner や retrieval stage を持たない設計

4. どうやって有効だと検証した？

- RoboCasa365、RoboCasa-Long、実機ロボット実験で評価 - RoboCasa365 の平均 success を 65.9% から 72.1% へ向上 - RoboCasa-Long の平均 maximum task progress を 20.83% から 42.22% へ向上 - 実機 success を 6.66% から 43.33% へ向上 - 同等の visual-history memory 変種も上回り、保持量でなく進捗・状態変化の保持が重要と示す

5. 議論はある？

- 有効な長期 memory は経験の保持量ではなく decision-relevant な progress と world-state changes の保持に依存すると主張 - visual-history memory 変種との比較でこの主張を支持 - 外部 planner/retrieval を排した end-to-end 設計の利点が示唆される - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明

6. 次に読むべき論文は？

- Xiaomi-Robotics-1 (XR-1): 比較対象の先行 SOTA - RoboCasa365 / RoboCasa-Long: 評価ベンチマーク - recurrent state updates を用いる長期文脈手法 - test-time training を用いる手法 - 過去観測の storage and retrieval に基づく memory 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Diqi He, Jinbang Guo, Yijun Shen, Zhiwei Yu, Huan Yang, Dingwen Zhang, Junwei Han, Zhongyuan Wang

分類: cs.RO

原文アブストラクト

Long-horizon embodied manipulation requires policies to act on information that is no longer visible. Modified objects may leave the field of view, while completed subtasks continue to constrain future actions. Existing approaches extend temporal context through recurrent state updates, test-time training, or storage and retrieval of past observations. As horizons grow, these mechanisms can still leave the policy to infer task state from long, redundant, and viewpoint-dependent visual experience. We argue that long-horizon agents benefit not merely from remembering more, but from remembering task-relevant state changes and progress. We propose Memory of Object States and Task Progress (MOST), a policy-internal memory framework that compresses multi-view observations into temporal tokens. Historical and predictive future tokens are explicitly supervised with object states and subtask progress, structuring memory around what has changed in the world and what has already been accomplished. The resulting memory directly conditions action generation within a single end-to-end policy, without an external planner or retrieval stage. We further introduce RoboCasa-Long, a benchmark of multi-minute, multi-stage mobile manipulation tasks. Across RoboCasa365, RoboCasa-Long, and real-world robot experiments, MOST consistently outperforms Xiaomi-Robotics-1 (XR-1), the previous state-of-the-art model. It raises average success from 65.9% to 72.1% on RoboCasa365, average maximum task progress from 20.83% to 42.22% on RoboCasa-Long, and real-world success from 6.66% to 43.33%. MOST also outperforms a matched visual-history memory variant, showing that effective long-horizon memory depends not only on how much experience is retained, but on whether it preserves decision-relevant progress and world-state changes.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI