日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
模倣学習arXiv:2610.13079

VICAR: 接触を考慮したリターゲティングによるヒューマノイド対話スキルのビデオ模倣

VICAR: Video Imitation with Contact-Aware Retargeting for Humanoid Interactive Skills

シェア:XThreadsFacebookLINEはてブBluesky

三人称の人間動画からヒューマノイドの接触を伴う操作スキルを学習するパイプラインを提案し、接触姿勢や速度を保ちながら動作をリターゲティングして実行時適応を可能にした。

詳しい要約

1. どんなもの？

- 三人称の人間動画から humanoid の loco-manipulation スキルを学習する VICAR を提案。 - 動画から人間動作・障害物・接触を抽出し、humanoid へ retargeting。 - 接触姿勢・速度・衝突余裕を保ち、contact-conditioned な動作生成器を学習。 - table-tennis serve、object pickup、ladder climbing など10種で実機検証。

2. 先行研究と比べてどこがすごい？

- 従来の video-to-humanoid は雑音の多い人間動作・物体軌道・接触を抽出し展開可能なスキルへ精錬。 - しかし contact-rich imitation では、世界座標系の接触の姿勢・タイミング・速度が embodiment mismatch や実行時の scene 変化に耐える必要がある。 - 既存 retargeting は penetration 除去や局所的な interaction geometry 保持に留まる。 - 本研究は接触姿勢と衝突余裕を高優先の penalty として扱い、接触遷移を通じて滑らかな動作を最適化。

3. 技術・手法の肝は？

- 三人称動画から人間動作を復元し、monocular video からタスク関連障害物を再構成。 - humanoid へ retargeting する際、global contact pose・motion speed・collision clearance を保持。 - ユーザ指定の contact pose と collision clearance を高優先の Lagrangian penalty 項として表現。 - 接触が多い遷移でも滑らかになるよう全動作を最適化。 - 得られた動作で contact-conditioned motion generator を学習。入力に可動接触点を含み、実行時に新しい接触位置へ適応。

4. どうやって有効だと検証した？

- 10種の多様な三人称動画スキルで実証。 - 内訳は table-tennis serve 6種、object-pickup 3種、ladder climbing。 - 学習したスキルを hardware に展開。 - 結果は contact-preserving retargeting が人間観察による対話行動学習への実用的な一歩であることを示唆。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、汎化性能に関する議論は要旨に記載なし。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として video-to-humanoid systems、retargeting methods、contact-rich imitation が挙げられる。 - 同分野の定番として human motion retargeting、contact-aware motion generation、Lagrangian penalty を用いた最適化、contact-conditioned motion generator が次の読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dvij Kalaria, Bike Zhang, S. Shankar Sastry

分類: cs.RO

原文アブストラクト

Third-person human videos offer a scalable alternative to task-specific reward engineering, teleoperation, and manually scripted demonstrations for humanoid loco-manipulation. Recent video-to-humanoid systems have shown that noisy human motion, object trajectories, and contacts can be extracted from unstructured videos and refined into deployable skills. However, a key gap remains for contact-rich imitation: the task is often defined by world-frame contacts whose poses, timing, and speed must survive embodiment mismatch and runtime scene changes. Towards this, we present VICAR (Video Imitation with Contact-Aware Retargeting), a pipeline for learning humanoid interactive skills from third-person human videos. The system first recovers human motion, reconstructs task-relevant obstacles from monocular video, and then retargets the motion to a humanoid while preserving global contact poses, motion speed, and collision clearance. Unlike retargeting methods that only remove penetration or preserve local interaction geometry, our formulation represents user-specified contact poses and collision clearance as high-priority Lagrangian penalty terms and optimizes the full motion to remain smooth through contact-rich transitions. The resulting motions are used to train a contact-conditioned motion generator whose inputs include movable contact points enabling runtime adaptation to new contact positions. We demonstrate the framework on ten diverse third-person video skills, including six table-tennis serves, three object-pickup tasks, and ladder climbing, and deploy the learned skills on hardware. These results suggest that contact-preserving retargeting is a practical step toward humanoids that learn useful interactive behavior by watching humans.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI