時空間参照でロボット動作を編集する統合インターフェース
Robotic Spatiotemporal Editing: A Unified Interface for Controllable Action Generation via Masked Action Reconstruction
キーポイントや流れなど様々な時空間参照を同一の行動空間の部分指定として統合し、制御可能なマニピュレーションを行動インペインティング問題として解く手法を提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yanbang Li, Bu He, Yi Tian, Yu-Chiao Huang, Chenyu Zhang, Ruoqu Chen, Yuanzhe Liu, Yuxiang Gao, Mengdi Xu
分類: cs.RO
原文アブストラクト
Generative policies can synthesize robot behaviors, yet controlling and editing them through diverse spatiotemporal references remains challenging. In the real world, human intent requires robot behaviors that satisfy constraints on where, when, and how actions are executed. Our key insight is that spatiotemporal control references, such as keypoints, flows, orientations, and keyposes, can be viewed as partial specifications of the same temporal Cartesian action space. We introduce the MAP (Masked Action Space) interface to unify these action references and formulate controllable manipulation as an action inpainting problem. Our Inpainting Policy (IP) reconstructs missing action dimensions of the end-effector, combining progress-guided alignment with multi-mask training to support unseen action-constraint combinations. We further adopt a training-free RePaint variant that iteratively inpaints the action during denoising to reduce control error. On ManiSkill and LIBERO-10, our policy achieves average task success rates of 92.67% and 64.67%, respectively.Real-world experiments demonstrate spatiotemporal control with average positional and rotational errors of 44.3 mm and 7°, respectively, showing that our policy can use diverse references to guide executable robot behaviors.
関連論文
- 形状認識型ニューラル時間場による剛体運動と操作計画マニピュレーション
- 目隠し精密組立:多様な部品に対応する固有感覚によるsim-to-realペグ挿入マニピュレーション
- 不完全なデモから精密な進捗推定を学習する手法PRIMEマニピュレーション
- 異種両腕マニピュレーションのための身体性を考慮した計画マニピュレーション
- AWAM: 能動的な軌道条件付き視点想像によるロバストなロボットマニピュレーションマニピュレーション
- LIBERO-PeRM: パーソナライズされたロボットマニピュレーションのベンチマークマニピュレーション