日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ヒューマノイド操作arXiv:2611.02968

ReContact: 動画から人間の接触を再構築・再ターゲティングする接触リッチなヒューマノイド操作

ReContact: Reconstruct and Retarget Human Contacts from Video for Contact-Rich Humanoid Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画から物体中心の接触計画を抽出し、遮蔽に強い物体姿勢復元と接触力制御を組み合わせてヒューマノイドの接触リッチ操作を実現した研究。

詳しい要約

1. どんなもの?

- ヒト動画から human-object interaction を再構成し、humanoid robot へ retarget する手法 ReContact の提案。 - 全身での contact transition(手だけでなく体幹・腿などで物体支持を再配分)を対象とする。 - object-centric contact plan(contact phase、contact pair、anchor、pressing direction、sticking/sliding mode)を中核に据える。 - 計画に沿って接触力を発揮する residual policy を学習し、contact-rich humanoid manipulation を実現する。

2. 先行研究と比べてどこがすごい?

- 従来の retargeting は物体軌道の再現を重視し、意図した contact で安定化力を加えることを保証しない点を問題視。 - 体の occlusion で object pose tracking が乱れ retarget 済み motion が破損する課題に対し、contact prior で再構成を安定化。 - 単純な軌道模倣ではなく contact plan に基づく力の発揮を reward 化する点が差分。 - 比較対象の adapted baseline に対し thigh-supported regrasp で大幅な成功率差を報告。

3. 技術・手法の肝は?

- object-centric contact plan を定義:contact phase、contact pair、anchor、pressing direction、sticking/sliding mode。 - contact prior を用いて occlusion 下の object pose reconstruction を安定化。 - frozen whole-body tracker 上に residual policy を学習。 - reward は計画 anchor での接触と指定方向に沿った力の発揮を促す設計。 - 複数 reference から新配置へ再求解する枠組みを含む。

4. どうやって有効だと検証した?

- シミュレーションで thigh-supported regrasp を評価:3 training seed で計画した two-palm bottom hold を 83.5% の episode で達成、最良 adapted baseline は 0.16%。 - 247 references で学習した単一 policy を新配置に再求解し、in-workspace tube-transfer 成功率を 20.4%(source reference のみ)から 97.8% へ改善。 - 実機 Unitree G1 で 7 つの contact-rich manipulation と 2 つの loco-manipulation タスクを実行。

5. 議論はある?

- occlusion 下の object pose tracking 破損と、軌道再現だけでは接触力が保証されない問題への対処を主張。 - contact plan の各要素(phase、anchor、direction、mode)の寄与や限界についての詳細は要旨からは不明。 - 実機評価のタスク詳細・成功率・失敗様態は要旨からは不明。 - 汎化範囲や新規物体・接触への適用性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照される個別論文は不明。関連手法として human-object interaction reconstruction、motion retargeting、whole-body tracking、residual policy、contact planning の文献を次に読む候補とする。 - 比較対象である adapted baseline の詳細論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongkai Gu, Yang Liu, Wei Zhu, Mitsuhiro Hayashibe

分類: cs.RO

原文アブストラクト

Contact transitions allow humanoid robots to redistribute object support across the whole body, enabling manipulation beyond hand-only grasps. Human videos provide a scalable source of such transitions for robots to learn from. However, body occlusion disrupts object pose tracking and corrupts retargeted motion. Moreover, accurately reproducing the object trajectory does not ensure that the robot applies stabilizing forces at the intended contacts, risking slips or drops in later phases. To address these challenges, we propose ReContact, which reconstructs and retargets human-object interactions through an object-centric contact plan. The plan specifies contact phases, contact pairs, anchors, pressing directions, and sticking or sliding modes. Contact priors stabilize object pose reconstruction through occlusion. A residual policy over a frozen whole-body tracker is rewarded for making contact at planned anchors with forces aligned to the specified directions. In simulation, on a thigh-supported regrasp task, ReContact achieves the planned two-palm bottom hold in 83.5 of episodes over three training seeds, versus 0.16% for the best adapted baseline. One policy trained on 247 references re-solved for new placements raises in-workspace tube-transfer success from 20.4% (source reference only) to 97.8%. On a real Unitree G1, policies execute seven contact-rich manipulation and two loco-manipulation tasks.

関連論文

PR本紙発行元 EmplifAI