モバイルマニピュレーションの突破口:失敗診断からエージェント型ロボットシステムへ
Cracking Mobile Manipulation: From Failure Diagnosis to Agentic Robot System
長期的なモバイルマニピュレーションの失敗を診断し、計画・ナビゲーション・操作の各段階に介入するエージェントシステムを開発。成功率を19%から49%に向上させた。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Zixuan Wang, Jia-Ning Li, Yinzhou Tang, Yanzhao Yu, Biao Wu, Meng Fang, Xin Li, Yiwu Zhong
分類: cs.RO
原文アブストラクト
Recent vision-language-action (VLA) models have shown strong performance on local robot manipulation, yet their success does not readily translate to long-horizon mobile manipulation. In our experiments, a pretrained subtask VLA achieves 80% success rate on atomic manipulation tasks but only 19% when these skills are composed into mobile manipulation. We argue that this gap stems from failures across the execution process rather than from local manipulation capability alone. To uncover these bottlenecks, we systematically diagnose failures in long-horizon mobile manipulation and identify three dominant regimes: task planning, navigation and base positioning, and local manipulation. Based on this diagnosis, we develop failure-guided agentic intervention that augments a fixed subtask VLA with demonstration-based planning guidance, adaptive visual memory, accessibility-aware base adjustment, and local end-effector adjustment. On RoboCasa365, these interventions progressively improve task success from 19% to 47%, with the finalized system reaching 49% on held-out episode seeds, compared with 18% for the baseline. The same design improves performance from 14% to 37% on BEHAVIOR-1K and from 5/20 to 13/20 on real-robot tasks. These results suggest that reliable mobile manipulation can be advanced by diagnosing and intervening on the current bottleneck, rather than uniformly scaling the underlying policy. Our code will be released at https://github.com/PKU-VaLuE-Lab/Cracking-Mobile-Manipulation.git.
関連論文
- 階層型残差方策学習による実世界モバイルマニピュレーションの疎な人間ガイダンスモバイルマニピュレーション
- VOMMI: モバイルマニピュレーションのためのポータブル実演収集と活用モバイルマニピュレーション
- MobiAgent: 長期的モバイルマニピュレーションのための二重ループ再帰的政策自己改善モバイルマニピュレーション
- MM-ABC: 見て、協調し、想像する汎用モバイルマニピュレーションモバイルマニピュレーション
- SAKI: 人間の動画からのスキル組み立てと運動学的模倣による長期的モバイルマニピュレーションモバイルマニピュレーション
- OpenArmベースの実験室モバイルマニピュレーションにおける表現ハンドオフモバイルマニピュレーション