ヒューマノイド動作学習2026/10/2arXiv:2610.03388

KungfuAthleteBot：動画から高ダイナミックなヒューマノイド動作を学習する統合的ロバスト回復フレームワーク

KungfuAthleteBot: learning high-dynamic humanoid motion from video with unified robust recovery

武術家の動画から高ダイナミックな動作をヒューマノイドロボットに学習させるため、物理補正・擬似低運動エネルギーサンプリング・外乱除去と転倒回復を同一ポリシーで学習する統合手法を提案。

詳しい要約

1. どんなもの？

- ビデオから humanoid の高ダイナミック運動を学習する枠組み KungfuAthleteBot (KAB) を提案。 - 武術家のビデオから KungfuAthlete dataset を構築。 - 空中・着地フェーズの物理的不整合を補正し、video 由来の運動を humanoid で実行可能にする。 - 転倒復帰も同一 policy 内で学習し、約 0.7 秒で復帰。

2. 先行研究と比べてどこがすごい？

- 従来は再構成軌道の単純 retargeting が主流で、物理的不整合・駆動情報欠如・失敗復帰未考慮が問題。 - KAB は video 由来運動の 3 つの失敗モードを順に解決。 - 復帰参照データや手動モード切替なしで、追従と復帰を統合。 - 報告されている unified policy では最速の約 0.7 秒復帰を達成。

3. 技術・手法の肝は？

- C1: physics-guided parabolic trajectory correction で高さ浮き・地面貫通・高周波ジッタを除去。 - C2: physics-driven pseudo-low-kinetic-energy (LKE) sampling で初期化を動的に実現可能な状態へバイアス。 - C3: disturbance rejection と fall recovery を同一 policy 内で学習する direct training paradigm。 - 復帰参照データ不要、手動モード切替不要。

4. どうやって有効だと検証した？

- humanoid robot 上で video から動的スキルを学習。 - 任意の転倒から約 0.7 秒で復帰することを確認。 - unified policy の ablation で各コンポーネントの必要性を確認。 - 詳細な評価指標やベースライン比較は要旨からは不明。

5. 議論はある？

- video データの修復・補償が高ダイナミック humanoid スキル獲得の鍵であると主張。 - 単にデータを増やすだけでは不十分という視点。 - 限界や失敗事例、計算コスト、実機での汎化性は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として video-based motion retargeting、physics-guided trajectory optimization、low-kinetic-energy sampling、fall recovery for humanoid robots が挙げられる。 - 同分野の定番として DeepMimic、AMP (Adversarial Motion Priors)、RMA (Rapid Motor Adaptation) などが次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongxiang Lei, Lulu Cao, Xuyang Wang, Tianyi Qian, Jinyan Liu, Xuesong Li

分類: cs.RO

原文アブストラクト

Video is an abundant, inexpensive source of human motion data that is rich in extreme athletic behaviors. Making it usable for humanoid robots, however, is not a matter of simply retargeting a reconstructed trajectory: video-derived motion is physically inconsistent, devoid of actuation information, and says nothing about failure or recovery. We present KungfuAthleteBot (KAB), a framework that treats learning high-dynamic motion from video as the central problem and resolves each of these three failure modes in turn. (C1) We build the KungfuAthlete dataset from videos of national-level martial artists and introduce a physics-guided parabolic trajectory correction that removes height floating, ground penetration, and high-frequency jitter from reconstructed aerial and landing phases. (C2) Because video carries no force information, strict tracking of a reconstructed trajectory is dynamically infeasible, and error-driven initialization keeps re-launching the policy from infeasible aerial poses. We introduce physics-driven pseudo-low-kinetic-energy (LKE) sampling, our central mechanism for making such references learnable: it biases initialization towards dynamically feasible states, letting the policy discover feasible actuation patterns instead of imitating infeasible ones. (C3) Finally, we introduce a direct training paradigm in which disturbance rejection and fall recovery are learned inside the same policy that tracks the video motion, requiring no recovery reference data and no manual mode switching. On a humanoid robot, KAB learns dynamic skills from video and recovers from arbitrary falls in about 0.7 s, the fastest reported recovery for a unified policy. Ablations on the unified policy confirm the necessity of its components, supporting the view that repairing and compensating video data, rather than only collecting more of it, is what unlocks high-dynamic humanoid skills.

arXivで原文を読む →arXiv概要ページ

← 論文一覧