ReContact: 動画から人間の接触を再構築・再ターゲティングする接触リッチなヒューマノイド操作
ReContact: Reconstruct and Retarget Human Contacts from Video for Contact-Rich Humanoid Manipulation
人間の動画から物体中心の接触計画を抽出し、遮蔽に強い物体姿勢復元と接触力制御を組み合わせてヒューマノイドの接触リッチ操作を実現した研究。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Zhongkai Gu, Yang Liu, Wei Zhu, Mitsuhiro Hayashibe
分類: cs.RO
原文アブストラクト
Contact transitions allow humanoid robots to redistribute object support across the whole body, enabling manipulation beyond hand-only grasps. Human videos provide a scalable source of such transitions for robots to learn from. However, body occlusion disrupts object pose tracking and corrupts retargeted motion. Moreover, accurately reproducing the object trajectory does not ensure that the robot applies stabilizing forces at the intended contacts, risking slips or drops in later phases. To address these challenges, we propose ReContact, which reconstructs and retargets human-object interactions through an object-centric contact plan. The plan specifies contact phases, contact pairs, anchors, pressing directions, and sticking or sliding modes. Contact priors stabilize object pose reconstruction through occlusion. A residual policy over a frozen whole-body tracker is rewarded for making contact at planned anchors with forces aligned to the specified directions. In simulation, on a thigh-supported regrasp task, ReContact achieves the planned two-palm bottom hold in 83.5 of episodes over three training seeds, versus 0.16% for the best adapted baseline. One policy trained on 247 references re-solved for new placements raises in-workspace tube-transfer success from 20.4% (source reference only) to 97.8%. On a real Unitree G1, policies execute seven contact-rich manipulation and two loco-manipulation tasks.
関連論文
- ReGATE:再帰ゲート付き視覚融合による反応型ヒューマノイド物体操作ヒューマノイド操作
- 身体性を考慮した手物体インタラクション生成によるヒューマノイド巧みな操作ヒューマノイド操作
- BiGym 2.0:ヒューマノイド家庭内操作のための学習済み・エージェント開発ポリシーのベンチマークヒューマノイド操作
- GenHOI: タスク固有の訓練なしに生成ビデオを模倣する接触を考慮したヒューマノイドと物体のインタラクションヒューマノイド操作
- Imagine2Real: ビデオ生成事前知識によるヒューマノイドと物体のゼロショット対話の実現ヒューマノイド操作
- 触覚ドリーミングによる多用途ヒューマノイド操作の学習ヒューマノイド操作