RMMBench:ロボット移動マニピュレーションのための包括的ベンチマーク
RMMBench: A Comprehensive Benchmark for Robotic Mobile Manipulation
移動とマニピュレーションを組み合わせた70種類のタスクでVLMの身体性能力を評価するベンチマークを提案し、最先端VLMでも空間定位に課題があることを示した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Huapeng Li, Fuxiang Feng, Jinqiu Fan, Shuo Yang, Fengjiao Chen, Xuezhi Cao, Ran Song, Wei Zhang
分類: cs.RO
原文アブストラクト
Although the advancement of vision-language models (VLMs) has endowed robots with enhanced environmental understanding and task reasoning, a comprehensive evaluation methodology is important to advance the integration of VLMs in robotic navigation and manipulation. However, current benchmarks lack a comprehensive method to evaluate diverse robotic tasks, and evaluation metrics remain relatively constrained, making it difficult to assess the embodied capabilities of VLMs in a thorough and fine-grained manner. To address this issue, we propose RMMBench, an evaluation benchmark that requires robots to understand language instructions and perform long-horizon tasks in continuous spaces. RMMBench seamlessly integrates high- and low-level embodied tasks into a unified framework, constructing a "navigation-manipulation" task suite comprising 70 canonical task scenarios that range from localized manipulation to long-horizon composite navigation. The results reveal that leading VLMs still face major challenges in spatial localization when performing mobile manipulation tasks, and also highlight the necessity of enhancing the spatial perception capability of robots during long-horizon interactions. RMMBench can be accessed at https://mxxq-stack.github.io/rmmbench-project/
関連論文
- ALFRED: 長期植物モニタリングのための要件駆動型オープンソース移動マニピュレータ開発移動マニピュレーション
- LQRとArUcoの融合:二輪ロボットにおけるナビゲーションと非対称マニピュレーションのための堅牢な階層制御移動マニピュレーション
- Zephyron:太陽光支援移動マニピュレータの統合設計と解析的評価によるマルチモーダル環境偵察と分散視覚推論移動マニピュレーション
- 地図認識型視覚運動ポリシーによる移動マニピュレーション移動マニピュレーション
- MoPA: サブシステム特化型知覚アラインメントによる協調的移動マニピュレーション移動マニピュレーション
- DECOWAM: 脚式移動マニピュレーションのための分離型全身世界行動モデル移動マニピュレーション