VOMMI: モバイルマニピュレーションのためのポータブル実演収集と活用
VOMMI: Collecting and Leveraging Portable Demonstrations for Mobile Manipulation
RGB動画からオフラインで軌道を再構成し、視覚運動条件付けでVLAを事後学習させるポータブルな実演収集・学習フレームワークを提案。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yutian Zhang, Xingrui Xiong, Siyuan Ma, Yang Li, Jiawen Wen, Jiaqi Zhai, Liwen Yang, Ce Hao, Haozhen Chi, Yangkun Zhu, Yifan Zhu, Xiaowen Chu, Dong Wei, Qiaojun Yu, Dibo Hou
分類: cs.RO, cs.AI
原文アブストラクト
Portable mobile-manipulation demonstrations can help alleviate data scarcity for embodied intelligence, but obtaining reliable, low-cost, and robot-free motion supervision from RGB observations remains challenging. Existing approaches often rely on teleoperation or specialized devices equipped with additional sensing hardware, while directly using estimated visual odometry (VO) trajectories can introduce inconsistencies due to accumulated drift and imperfect motion supervision. We present the Visual-Odometry-Conditioned Mobile Manipulation Interface (VOMMI), a portable demonstration collection and learning framework that connects portable RGB demonstrations to vision-language-action (VLA) post-training through offline trajectory reconstruction and online visual-motion conditioning. VOMMI synchronizes body and hand views to capture navigation context and local object interactions without requiring human-robot kinematic correspondence calibration. R2-VO refines offline demonstration trajectories using sparse geometric anchors and produces causal local-motion tokens over multiple prediction horizons for online policy conditioning. An action-group residual adapter incorporates these tokens only into the base branch. Experiments use a 500-trajectory portable for each task, with 75 trajectories held out for RGB-VO evaluation, and 200 robot demonstrations as references. Our policy, post-trained only on portable demonstrations, achieves 18.2% lower base-velocity error than a policy trained with robot-collected demonstrations, while maintaining comparable end-effector translation accuracy. Offline reconstruction reduces absolute trajectory errors for the body and hand streams by 24.6% on average relative to the best evaluated baseline for each stream. The complete system improves the mean success rate by 8.3 percentage points over OpenPI 0.5 across three real-robot tasks.
関連論文
- MobiAgent: 長期的モバイルマニピュレーションのための二重ループ再帰的政策自己改善モバイルマニピュレーション
- MM-ABC: 見て、協調し、想像する汎用モバイルマニピュレーションモバイルマニピュレーション
- SAKI: 人間の動画からのスキル組み立てと運動学的模倣による長期的モバイルマニピュレーションモバイルマニピュレーション
- OpenArmベースの実験室モバイルマニピュレーションにおける表現ハンドオフモバイルマニピュレーション
- FloAff-Kitchen：正準的かつ段階的な床面アフォーダンス学習によるナビゲーションと操作の橋渡しモバイルマニピュレーション
- DynaMOMA: 動的物体のモバイル操作のための把持姿勢の瞬時予測モバイルマニピュレーション