日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
全身移動操作arXiv:2609.16683

Weave: 人間-物体インタラクションから全身巧みな移動操作を学習する

Weave: Learning Whole-Body Dexterous Loco-Manipulation from Human-Object Interactions

シェア:XThreadsFacebookLINEはてブBluesky

人間の物体操作デモを接触を考慮してロボット用に変換し、29体関節と12指関節を協調制御する全身移動操作ポリシーを学習するフレームワーク。

詳しい要約

1. どんなもの?

- 人間の物体操作デモから、ヒューマノイドの全身協調による器用な loco-manipulation を学習する統合フレームワーク Weave を提案。 - 29 の body joints と 12 の actuated finger joints を同時に制御し、複数物体・複数インタラクション系列に対応。 - 9 物体で 92.5% の成功率、未学習系列でも追加学習なしで 65.0% を達成。 - 約 9,000 の物理実行ロールアウト(約 23 時間)と contact annotations を公開。

2. 先行研究と比べてどこがすごい?

- 従来の humanoid loco-manipulation は、全身バランス・移動・器用な手接触の同時制御が難しく、人間デモの転移も embodiment や dynamics の違いから困難だった。 - Weave は contact-aware retargeting と approach-motion completion により、人間の HOI を実行可能な robot-object references に変換。 - contact- and geometry-aware policy により、複数物体・系列にまたがる全身協調を単一フレームワークで学習。 - 未学習系列へのゼロショット汎化(65.0%)と大規模物理ロールアウトデータセットの公開が先行研究に対する利点。

3. 技術・手法の肝は?

- 人間の HOI キャプチャを contact-aware retargeting でロボットの運動参照に変換。 - approach-motion completion により、接触前の接近動作を補完し実行可能な参照を生成。 - 中核は contact- and geometry-aware policy で、29 body joints と 12 actuated finger joints を統合制御。 - 複数物体・複数インタラクション系列に対応する統一的な学習枠組み。

4. どうやって有効だと検証した?

- 9 種類の物体で評価し、学習済みインタラクションで 92.5% の成功率を確認。 - 訓練時に見ていない系列に対して追加学習なしで 65.0% の成功率を確認。 - 約 9,000 の物理実行ロールアウト(約 23 時間)を収集し、contact annotations 付き robot-object trajectories を公開。 - これらは下流の interaction-policy learning や物理的に整合する HOI motion generation に利用可能。

5. 議論はある?

- 未学習系列での成功率は 65.0% であり、学習済み 92.5% と比べて汎化性能に課題が残る。 - 人間デモからロボットへの転移における embodiment や dynamics の違いへの対処が重要。 - 公開データセット(約 9,000 ロールアウト、約 23 時間)は下流タスクへの貢献が期待される。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、human-to-robot motion retargeting、contact-aware policy learning、whole-body loco-manipulation、human-object interaction (HOI) motion generation の定番研究を挙げる。 - 公開データセットを用いた downstream interaction-policy learning や physically consistent HOI motion generation に関する研究も次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liu Cao, Xingze Wu, Jingzhi Cui, Botian Xu, Mingzhi Pei, Ruoqu Chen, Mengdi Xu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Learning humanoid-object interaction requires coordinating whole-body balance, locomotion, and dexterous hand contact to control both robot and object motion. Human demonstrations provide examples of coordinated interaction, but transferring these behaviors to humanoid robots requires learning how to establish and maintain effective contacts under different embodiments and dynamics. We present Weave, a unified framework for learning whole-body dexterous humanoid-object interaction from captured human demonstrations. Weave first converts captured human-object interactions into executable robot-object references through contact-aware retargeting and approach-motion completion. At its core is a contact- and geometry-aware policy that jointly commands 29 body joints and 12 actuated finger joints across multiple objects and interaction sequences. Evaluation across nine objects yields a 92.5% success rate on trained interactions and, without any additional training, 65.0% on sequences never seen during training. We additionally release ~9,000 physically executed rollouts spanning ~23 hours, providing robot-object trajectories with contact annotations for downstream interaction-policy learning and physically consistent HOI motion generation. Project website: https://xiaohu-art.github.io/Weave/