MOMASPLAT: モバイルマニピュレーションのための動的な新規視点デモンストレーション拡張
MOMASPLAT: Dynamic Novel-View Demonstration Augmentation for Mobile Manipulation
モバイルマニピュレーションのデモを、未見のロボット基部位姿から動的な物体操作も含めて合成する新規視点拡張フレームワーク。3Dガウシアンスプラッティングと3D基盤モデル、キネマティクスに基づく動作再ターゲティングを組み合わせ、幾何学的に一貫した合成デモを生成する。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Sateesh Kumar, Arnav Balaji, Arpit Bahety, Skand Peri, Georgios Pavlakos, Roberto Martín-Martín
分類: cs.RO, cs.AI, cs.CV
原文アブストラクト
Visuomotor policies trained through imitation learning are highly sensitive to changes in camera viewpoint. This is particularly problematic for mobile manipulation (MoMa), where robots rarely execute manipulation from the exact same base pose used during demonstration collection due to navigation uncertainty, localization drift, and environmental constraints. Recent approaches use novel-view synthesis (NVS) to augment demonstrations with unseen viewpoints, but they assume static scenes and therefore fail to re-render the manipulated object during the post-contact interaction phase, leaving the most critical parts of the demonstration unaugmented. We present MOMASPLAT, a novel-view demonstration augmentation framework for mobile manipulation that synthesizes full manipulation trajectories from unseen robot base poses, including dynamic object interactions. Our key insight is that standard MoMa data collection naturally provides the multiview observations needed to reconstruct both the static scene and the manipulated object in 3D. MOMASPLAT combines 3D Gaussian Splatting, feed-forward 3D foundation models, and kinematics-based action retargeting to separately reconstruct the scene and manipulated object, render them from novel viewpoints, and generate geometrically consistent synthetic demonstrations paired with transformed actions. We evaluate MOMASPLAT on five real-world mobile manipulation tasks involving both rigid and articulated objects across three scenes, and validate the fidelity of its synthesized demonstrations against ground truth in simulation. MOMASPLAT substantially improves robustness to unseen base poses, more than doubling the average success rate of the strongest baseline and maintaining non-trivial success at large base displacements where all baselines fail, while reducing the need for largescale real-world data collection.
関連論文
- 長期モバイルマニピュレーションにおける環境・プロセス記憶ベンチマークモバイルマニピュレーション
- Pixel: 汎用モバイルマニピュレーション学習のための協調設計フルスタックロボットシステムモバイルマニピュレーション
- FEIJOA: モバイルマニピュレーションのためのタスク駆動型グラウンディングと実行モバイルマニピュレーション
- 階層型残差方策学習による実世界モバイルマニピュレーションの疎な人間ガイダンスモバイルマニピュレーション
- モバイルマニピュレーションの突破口：失敗診断からエージェント型ロボットシステムへモバイルマニピュレーション
- VOMMI: モバイルマニピュレーションのためのポータブル実演収集と活用モバイルマニピュレーション