日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.36615

野生動画から人-ヒューマノイド相互作用を転写する模倣身体性転送

Mimetic Embodiment Transfer of Human-Humanoid Interaction from In-the-Wild Videos

シェア:XThreadsFacebookLINEはてブBluesky

ネット上の人間同士の相互作用動画を3D復元し、関節関係と接触を保ちながら異なるヒューマノイドへ動作を転送するHumiTransferを提案し、大規模データセットHumiMimicを構築した。

詳しい要約

1. どんなもの?

- in-the-wild の human-human interaction 動画を、物理的に妥当な human-humanoid interaction へ変換する枠組み HumiTransfer を提案 - 個々の motion だけでなく、空間・意味・contact の関係(hugging, dancing, hand-shaking 等)を保持することを狙う - 異なる morphology・kinematic constraints を持つ複数の humanoid embodiment へ汎化する実用的手法を目指す - 1,200 本の in-the-wild 動画から約 500,000 frames を生成し、26-DoF Unitree R1 Edu と 23-DoF HighTorque Mini-hi 向けの HumiMimic dataset を構築

2. 先行研究と比べてどこがすごい?

- 従来の motion retargeting は単体 motion の再現に主眼があり、interaction 特有の inter-body relationships の保持を明示的に扱う点が異なる - 単一 embodiment ではなく、morphology・kinematic constraints の異なる複数 humanoid へ転送可能な点を主張 - in-the-wild 動画を入力とし、foot-ground contact の一貫性や balance・contact・collision avoidance まで含めて物理的妥当性を担保 - 既存 baselines に対し motion fidelity、inter-body relationships、contact accuracy で優位と報告 - 具体的な比較対象名は要旨からは不明

3. 技術・手法の肝は?

- まず in-the-wild 動画から 3D human motion を再構成し、foot-ground contact を一貫させて復元 - 次に interaction modeling により、参加者の一方を target humanoid embodiment へ転送 - weighted joint-relative directions と anatomical offsets を用い、interaction-critical な inter-body relationships を優先 - 転送後の post-retargeting optimization で balance、contact、collision avoidance を強制 - これらを組み合わせ、物理的に plausible な human-humanoid interaction を生成

4. どうやって有効だと検証した?

- HumiTransfer を 1,200 本の in-the-wild 動画に適用し、約 500,000 frames の HumiMimic dataset を構築 - 26-DoF Unitree R1 Edu と 23-DoF HighTorque Mini-hi の両 robot で評価 - 既存 baselines と比較し、motion fidelity、inter-body relationships の保持、contact accuracy で優位と報告 - HumiMimic が human partner に追従する interactive humanoid motion の生成手法を支えることを実証 - real robot deployments により、転送 motion の実世界での物理的実行可能性を確認

5. 議論はある?

- in-the-wild 動画由来のため、入力動画の品質や多様性が転送結果に与える影響は要旨からは不明 - 対象は 26-DoF Unitree R1 Edu と 23-DoF HighTorque Mini-hi の 2 機種であり、他 embodiment への汎化範囲は要旨からは不明 - interaction-critical な関係を優先する重み付けの感度や失敗ケースは要旨からは不明 - real robot deployments の規模・被験者数・定量評価の詳細は要旨からは不明 - dataset の公開範囲やライセンスは要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として明示された既存 baselines の個別論文名は要旨からは不明 - motion retargeting の代表的手法(例: interaction-aware retargeting、contact-preserving retargeting) - human-human interaction からの 3D motion reconstruction に関する研究 - humanoid motion generation(human partner 追従型の interactive motion synthesis) - physics-based character animation および contact・balance を考慮した trajectory optimization 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nghia Le, Khang Nguyen, Ba Long Tran, Thi Quynh Nhu Pham, Binh Nguyen, Tuong Do, Erman Tjiputra, Hoan Nguyen, Tung D. Ta, Baoru Huang, Hai-Nguyen, Nguyen, Anh Nguyen

分類: cs.RO

原文アブストラクト

Enabling a humanoid to interact naturally with human partners requires preserving not only individual motions but also the spatial, semantic, and contact relationships underlying the interaction (i.e., hugging, dancing, hand-shaking, etc.). Furthermore, a practical solution should generalize across various humanoid embodiments with distinct morphologies and kinematic constraints. To tackle this challenge, we propose HumiTransfer, a mimetic embodiment transfer framework that converts in-the-wild human-human interaction videos into physically plausible human-humanoid interactions. HumiTransfer first reconstructs 3D human motion with consistent foot-ground contact, then transfers one participant to a target humanoid embodiment via interaction modeling, using weighted joint-relative directions and anatomical offsets to prioritize interaction-critical inter-body relationships, while post-retargeting optimization enforces balance, contact, and collision avoidance. Subsequently, we apply HumiTransfer to 1,200 in-the-wild videos, producing approximately 500,000 frames of diverse interactions for the 26-DoF Unitree R1 Edu and the 23-DoF HighTorque Mini-hi humanoid robot, resulting in our HumiMimic dataset. Across both robots, HumiTransfer achieves superior motion fidelity, preserves inter-body relationships, and maintains contact accuracy compared with existing baselines. Moreover, we demonstrate that HumiMimic supports motion generation methods for synthesizing interactive humanoid motions following a human partner. Finally, our real robot deployments confirm the physical executability of the transferred motions in real-world settings.

関連論文

PR本紙発行元 EmplifAI