日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
モバイルマニピュレーションarXiv:2611.06475

長期モバイルマニピュレーションにおける環境・プロセス記憶ベンチマーク

Robocasa-Mem: Benchmarking Environment and Process Memory in Long-Horizon Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

観測できなくなった情報を履歴から活用する記憶依存の意思決定を評価するため、9タスクからなるモバイルマニピュレーション用ベンチマークRoboCasa-Memを提案し、階層型記憶拡張ポリシーHMAPを構築した。

詳しい要約

1. どんなもの？

- モバイルマニピュレーションにおける長期タスクの記憶依存的意思決定を評価する新ベンチマーク RoboCasa-Mem を提案 - 9つのモバイルマニピュレーションタスクで構成 - 記憶を2種類に分類 - environment memory: 空間位置、物体属性、物体間関係 - process memory: 単一タスクの進捗、複数タスクのスケジューリング - 方策学習用に1,800件の成功デモンストレーションを提供 - ベースラインとして Hierarchical Memory-Augmented Policy (HMAP) を開発

2. 先行研究と比べてどこがすごい？

- 既存ベンチマークはモバイルマニピュレーションにおける記憶依存的意思決定の評価が限定的 - 本ベンチマークは観測不能になったタスク関連情報の利用を要求する点で新規 - Behavior-Conditioned Evaluation を導入 - 複数の有効な実行経路があるタスクで単一の目標や軌道を固定しない - 評価器がロボットの以前の行動から後のタスク制約を導出 - 固定目標割当に基づくショートカットを低減 - 要旨からは不明: 具体的な先行ベンチマーク名や定量的比較

3. 技術・手法の肝は？

- ベンチマーク設計 - environment memory と process memory の2カテゴリで9タスクをグループ化 - Behavior-Conditioned Evaluation により後の制約を過去行動から導出 - ベースライン HMAP の構成 - 高レベルプランナ: 構造化された entity memory と process memory を用いてサブタスクを生成 - 低レベル VLA controller: subgoal-conditioned queries により VGGT-Omega geometry を行動生成に統合

4. どうやって有効だと検証した？

- 1,800件の成功デモンストレーションを方策学習用に提供 - ベースライン HMAP をベンチマーク上で開発・評価 - 要旨からは不明: 具体的な評価指標、成功率、比較実験の詳細

5. 議論はある？

- 要旨からは不明: 限界、失敗事例、計算コスト、実機展開性に関する議論 - 記憶依存行動の系統的評価と memory-aware なモバイルマニピュレーション方策開発を支援する枠組みとして位置づけ

6. 次に読むべき論文は？

- Hierarchical Memory-Augmented Policy (HMAP) - VGGT-Omega - VLA controller 関連手法 - 要旨で参照/比較されている個別研究は明示されていないため、同分野の定番として mobile manipulation ベンチマークや memory-augmented policy 関連研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sihang Chen, Chen Ye, Wei Chen, Xiaohan Lei, Zhipeng Tang, Sha Zhang, Yuan Zhang, Zixuan Chen, Jiajun Deng, Houqiang Li, Yanyong Zhang

分類: cs.RO

原文アブストラクト

In the real world, mobile manipulation robots must perform complex object interactions and make multi-step decisions, often relying on task-relevant information that is no longer observable. However, existing benchmarks provide limited evaluation of such memory-dependent decision-making in mobile manipulation. To address this gap, we introduce RoboCasa-Mem, a new benchmark comprising nine mobile manipulation tasks that require agents to use interaction history at key decision points. Specifically, the tasks are grouped into two categories of memory: One is environment memory, which captures spatial locations, object attributes, and object relationships. The other is process memory, which captures single-task progress and multi-task scheduling. Particularly, we introduce Behavior-Conditioned Evaluation. For tasks with multiple valid execution paths, instead of fixing a single target or trajectory, the evaluator derives later task constraints from the robot's earlier actions. This allows us to evaluate whether later behavior is consistent with the robot's own interaction history while reducing shortcuts based on fixed target assignments. We provide 1,800 successful demonstrations for policy training. We also develop a baseline on our benchmark, namely Hierarchical Memory-Augmented Policy(HMAP). Its high-level planner uses structured entity and process memories to generate subtasks. Its low-level VLA controller uses subgoal-conditioned queries to incorporate VGGT-Omega geometry into action generation. Together, RoboCasa-Mem and HMAP baseline support systematic evaluation of memory-dependent behavior and the development of memory-aware mobile manipulation policies.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI