日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ヒューマノイド全身制御arXiv:2610.28480

単一の微分可能ワールドモデルでヒューマノイド全身制御をスケールさせる手法

SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model

シェア:XThreadsFacebookLINEはてブBluesky

剛体シミュレータのログから学習した微分可能ワールドモデルと追従ポリシーを同時訓練し、少ない計算量で大規模モーション追従を実現した研究。

詳しい要約

1. どんなもの?

- 大規模な human-motion dataset を追従させる humanoid whole-body control のための学習手法 - 1つの differentiable world model を全モーションで共有し、学習を amortize する - world model は標準的な rigid-body simulator の logged transitions から fit される - world model と tracking policy を1つのループで同時に学習する - 単一 GPU 3時間で学習が完了し、物理ロボット Unitree G1 へ転送可能

2. 先行研究と比べてどこがすごい?

- 先行手法は model-free reinforcement learning が主流 - per-motion specialist を lossy distillation で統合するか、cluster-scale compute で単一 policy を brute-force するかの二択だった - SuperMimic は単一 GPU 3時間で、128 GPU・7日学習の state-of-the-art motion tracker baseline の return を上回る - GPU-hours を 1000倍以上削減 - 129,514 モーション中、失敗は 25 件(baseline は 179 件) - 2 GPU・9.8時間で失敗ゼロを達成

3. 技術・手法の肝は?

- 全モーションが共有する dynamics を表す1つの differentiable world model を構築 - 標準 rigid-body simulator の logged transitions から world model を fit - world model と tracking policy を同一ループで共同学習 - 短い imagined rollouts に対する backpropagation-through-time で policy に analytic gradients を供給 - 高速な imagined rollouts と analytic gradients により policy 学習を効率化

4. どうやって有効だと検証した?

- 129,514 の benchmark motions で失敗数を比較(SuperMimic 25 件 vs baseline 179 件) - 単一 GPU 3時間で 128 GPU・7日学習の baseline の return を上回ることを確認 - 2 GPU・9.8時間で失敗ゼロを達成 - 1〜264 時間のモーション量で world model の prediction error が安定し、目標 return までの GPU-hours が緩やかに増えることを確認 - 学習した policy を物理ロボット Unitree G1 に転送し、多様かつ acrobatic なモーションで検証

5. 議論はある?

- compute が humanoid whole-body control のスケーリングのボトルネックであるという立場を提示 - SuperMimic により motion-tracking scaling laws の測定が実用的になると主張 - world model の prediction error がモーション量 1〜264 時間で安定する点を scaling の根拠として議論 - 限界や失敗モードの詳細、sim-to-real gap の定量的議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象の state-of-the-art motion tracker baseline(具体的名称は要旨からは不明) - per-motion specialist を distillation で統合する先行 pipeline - model-free reinforcement learning による humanoid whole-body control の代表的研究 - differentiable world model を用いた model-based RL の関連手法 - Unitree G1 を用いた sim-to-real 転送の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz, Pieter Abbeel, Koushil Sreenath

分類: cs.RO

原文アブストラクト

Tracking large human-motion datasets has become the dominant route to general, expressive humanoid whole-body control, but scaling across many motions is expensive. Current pipelines use model-free reinforcement learning, either merging per-motion specialists through lossy distillation, or brute-forcing a single policy with cluster-scale compute. SuperMimic amortizes learning across all motions with one differentiable world model of their shared dynamics, fit from logged transitions of a standard rigid-body simulator. The world model and the tracking policy train together in one loop, and backpropagation-through-time over short imagined rollouts gives the policy analytic gradients. Fast imagined rollouts and analytic gradients make policy learning efficient. In 3 hours on a single GPU, SuperMimic surpasses the return of a state-of-the-art motion tracker baseline trained for 7 days on 128 GPUs. It reduces GPU-hours by more than $1000\times$ and fails on only 25 of 129,514 benchmark motions, versus 179 failures for the baseline. After 9.8 hours on two GPUs, SuperMimic achieves zero failures. From 1 to 264 hours of motion, the world model's prediction error stays stable, and GPU-hours to a target return grow slowly. Our policy transfers to a physical Unitree G1 across diverse and acrobatic motions. SuperMimic removes compute as the bottleneck to scaling humanoid whole-body control, making it practical to measure motion-tracking scaling laws.

関連論文

PR本紙発行元 EmplifAI