SuperMimic徹底解説｜1 GPU・3時間の全身制御は何を変えたのか

SuperMimicは、身体の物理を共有して学ぶ#

人型ロボットがダンスをし、跳び、転がる。その見た目以上に、今回注目したいのは、その動きを学ぶための計算です。カリフォルニア大学バークレー校の研究者らが発表したSuperMimicは、多数の人間動作に共通する身体の動き方を一つの世界モデルで学び、その予測の中で制御方策を改善します。動作ごとに身体の物理を学び直す負担を減らすことが、この研究の中心です。^[1,2]

公式発表では、H100一枚による三時間の学習で、比較対象となるSONICの公開モデルを上回るリターンを報告しています。SONIC側の学習は、L40百二十八枚で七日間です。ただし、これは異なるGPUと学習条件の比較です。本稿では、数字の大きさだけでなく、どの処理を変え、何を評価したのかを映像と公開実装から追います。^[2]

研究の正式名称は「SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model」。参照動作に全身を追従させる制御が対象です。言葉で仕事を指示すると未知の作業を自律的に終える汎用エージェントとは、扱う問題が異なります。まず、目標の姿勢があることと、身体が実際にその姿勢へ移れることの違いから見ていきます。^[1]

姿勢を再生することと、物理の中で追従すること#

参照モーションには、時刻ごとの身体位置や姿勢、関節の目標が並んでいます。それを画面上で順に表示すれば、滑らかな踊りは作れます。しかし、参照をそのまま表示しただけでは、床からの反力、重力、慣性、モーターの限界を満たすことは確認できません。片足を上げた瞬間に重心をどう支えるか。着地の衝撃のあとに次の姿勢へ戻れるか。全身制御では、その過程を扱います。^[1]

閉ループの物理シミュレーションでは、制御器が指令を出し、物理エンジンが身体を動かし、変化した状態をまた制御器へ返します。同じ関節角度の目標でも、今の角速度や足の接触状態が違えば、必要な指令は変わります。したがって、参照姿勢の再生、制御方策を動かした物理ロールアウト、学習した世界モデルの未来予測は、見た目が似ていても別の証拠です。^[1,8]

SuperMimicの方策は、現在の身体の状態と参照動作の目標を手掛かりに、次の指令を選びます。世界モデルは、その指令によって次の状態がどう変わるかを予測します。ここで覚えておきたい役割は三つです。物理シミュレーターは経験を得る場所。世界モデルは身体の変化を予測する場所。方策は行動を決めるものです。この区別を保つと、学習のループが読みやすくなります。^[6,1]

三つの処理を繰り返し、予測と行動を一緒に育てる#

学習は、まず現在の方策で物理シミュレーターを動かすところから始まります。そのときの状態、選んだ行動、次に生じた状態を記録します。例えば、膝を曲げる指令を出した結果、腰の高さや身体の傾きがどう変化したかという遷移です。記録した経験はリプレイバッファへ入り、世界モデルを学ぶ教師データになります。正解を作っているのは、学習モデル自身ではなく物理シミュレーターです。^[1]

次に、世界モデルがこの記録から予測を学びます。ある状態と行動を入れたとき、実際の次状態へ近づくようにネットワークを更新します。そのあと、世界モデルの中で短い未来を予測し、参照動作に近づく指令を出すよう方策を更新します。方策が変われば、物理シミュレーターで訪れる状態も変わります。新しく得た経験で世界モデルを更新するため、両者が同じ学習ループで改善していきます。^[1,4,5]

この構造は、最初に世界モデルを一度だけ作り、そのまま永久に固定する方式ではありません。学習の途中で方策が走ったり跳んだりするようになれば、予測器にも、その状態を学ぶ必要が出てきます。反対に、予測がまだ苦手な状態ばかりで方策を最適化すると、誤った未来を有利だと思い込む危険があります。物理シミュレーターから経験を補給し続けることが、モデルの中の学習を支えています。^[1]

世界モデルは何を予測し、どこを間違えたと測るのか#

公開実装では、世界モデルに身体の状態、行動、シミュレーションの文脈を与えます。出力は、身体が次にどう変化するかという予測です。モデルは多層パーセプトロンで構成され、一般化座標を用いる設定と、身体の状態を別の表現で扱う設定があります。映像を美しく生成する動画モデルと違い、目的は制御に必要な状態変化を計算することです。写実的な見た目そのものを学習する仕組みではありません。^[6,3]

世界モデルの学習では、一歩先の予測だけでなく、予測した状態を次の入力に戻して短い系列を進めます。公開コードの学習窓は八ステップです。一歩の誤差が小さくても、自分の予測を繰り返し使うと誤差が増えるからです。例えば、着地直後の速度を少し大きく予測すると、次の位置もずれ、その状態を前提にした次の予測にも影響します。系列で学ぶことで、このずれ方も損失へ反映します。^[4]

損失は、状態の各成分を同じ生の数値のまま足すだけではありません。位置、角度、速度には単位や尺度の違いがあります。公開実装は、各成分に設定した公称誤差の二乗の逆数を重みとして使います。これは、小さい数値だから重要でないと扱うことを避けるための設計です。どの状態表現を選び、各誤差をどの尺度で測るかが、予測の品質と方策へ渡る勾配の両方に関係します。^[4]

微分を通すと、行動をどちらへ変えるべきか分かる#

モデルフリーの強化学習では、試した行動から得た報酬をもとに、よい行動を増やすよう方策を改善します。SuperMimicは、学習した世界モデルを計算グラフとして使います。行動を少し変えると次の身体状態がどう変わり、それが将来の追従報酬へどう影響するか。そのつながりを微分して、方策のパラメーターを改善します。物理エンジンそのものを微分可能に作り替える必要はありません。^[1,5]

公開実装の方策更新は、三十二ステップの想像ロールアウトを使います。現在状態から方策が行動を出し、世界モデルが次状態を予測する。それを先へ進め、系列全体のリターンから時間をさかのぼって勾配を求めます。これが、バックプロパゲーション・スルー・タイムです。ある瞬間の姿勢だけを合わせるのではなく、その指令が数ステップ先の転倒や追従へ与える影響も学習に入れられます。^[5]

ここでは、世界モデルの重みを固定することと、勾配の通り道を切ることを分けます。方策を更新する間、世界モデル自身の重みは書き換えません。しかし、入力した行動から予測状態を経て報酬へ至る計算グラフは残します。予測器を同時に都合よく書き換えて高い報酬を作るのではなく、今ある予測器を通じて行動を変えるのです。その後の別の更新で、世界モデルは物理シミュレーターの記録に合わせて改善します。^[5,4]

短い未来の先を補うcriticと、転倒の扱い#

短い予測だけで最適化すると、その窓の終わりさえよければ、その直後に倒れる行動を選ぶかもしれません。そこでcriticが、窓の最後の状態から先に得られる価値を見積もります。方策は、想像した区間の報酬と、その先の価値を組み合わせて更新されます。短いロールアウトの計算量に抑えながら、目先の姿勢一致だけに偏りすぎないようにする役割です。criticは、世界モデルと同じ役割のネットワークではありません。^[5]

終了の扱いも重要です。公開実装は、予測した終了確率から系列を生き残る重みを累積し、先の報酬や価値への寄与に反映します。もし、倒れたあとの状態に大きな報酬が見えても、その未来をそのまま有効な経験として数えないためです。予測器が状態をもっともらしく進めることと、課題を成功して続けられることは別です。終了判定を含む学習設計が、追従の評価とつながっています。^[5]

公開runnerには、リターンに応じて苦手な区間へリセットを集中させる設定もあります。長い動作のうち、簡単な最初の部分ばかり繰り返していては、着地や回転後の難しい状態を十分学べません。どこから経験を集めるか、どの状態を重点的に練習するかも、学習効率の一部です。高速な予測器を置くだけで大規模追従が完成するのではなく、価値推定や経験収集の組み合わせまで見る必要があります。^[7]

GPU時間の削減は、同じ費用の削減を意味しない#

公式の計算比較を確認します。SONICの報告された学習は、百二十八枚のL40を七日間使っています。SuperMimicは、H100一枚で三時間以内に、SONICの公開チェックポイントのリターンを上回ったとしています。GPU時間は台数と時間を掛けた指標です。著者は千倍超の削減と表現していますが、GPU時間は、異なるGPUの性能差や料金差を自動的に調整した尺度ではありません。^[2]

さらに、学習したデータの量も同一ではありません。比較対象のSONICとSuperMimicでは、使った動作データや時間が異なります。公式の三時間は、シミュレーターでの収集、世界モデルの更新、方策の更新を含む全体の学習ループですが、チェックポイントの評価時間は含みません。したがって、この結果を、どのGPUでも三時間で学べる、あるいは電気代が千分の一になる、という約束へ変換することはできません。^[2,1]

手法の効き方を見るには、より条件を揃えた比較も重要です。論文のLAFAN1での比較では、SuperMimicが一GPU、約一点二時間でリターン〇点八二へ到達し、物理シミュレーター内のPPOは十八時間以内に届かなかったと報告しています。予測器の実行速度だけでなく、目標の性能までに何回の経験や更新が必要かを分けて読むと、解析的な勾配を使う意義が見えてきます。^[1]

この表の値を単純に割ると、GPU時間の商は21,504 ÷ 3 = 7,168、経過時間の商は168 ÷ 3 = 56です。 ただし、これは同じGPUへ換算した処理速度比や料金比ではありません。 失敗ゼロを報告した別の設定は2 H100 × 9.8時間 = 19.6 GPU時間で、「3時間で失敗ゼロ」とまとめると二つの結果を混同します。^[2]論文では学習データもSuperMimic 264.56時間、SONIC 611時間と異なります。^[1]

十二万九千五百十四動作での失敗ゼロを正しく読む#

失敗数の結果は、分母と再生条件をセットで読みます。公式では、十二万九千五百十四の動作に対し、SONICの公開モデルが百七十九失敗、SuperMimicの一GPU三時間のモデルが二十五失敗、二GPU九点八時間のモデルがゼロ失敗です。この数字は、選び抜いた短いデモが成功したという報告を超え、多くの動作を一つの方策で追えるかを調べた結果です。同時に、指定された集合と判定規則の中での数値でもあります。^[2]

対象は、フィルタリングしたBONES-SEEDの訓練集合です。それぞれの動作を最初のフレームから一回ずつ再生し、SuperMimicの訓練終了条件を発動したかで失敗を判定します。公式の脚注では、足の摩擦を一点〇、観測ノイズとドメインランダマイゼーションを無しとし、決定的な物理で評価しています。同じベンチマークの中で比べるための条件であり、あらゆる環境変化を試した結果ではありません。^[2]

訓練集合のカバレッジと、未知の動作への汎化は異なります。学習に使った動作を広く追えることは大きな成果ですが、初めて見たダンス、不安定な床、荷物を持った身体でも同じ成功率になるとは言えません。実機で一度も転ばない保証でもありません。ゼロという見出しを見たら、何の集合で、何回、どんなノイズと失敗条件で測ったのかまで確認する。それが、研究の価値を過小評価も過大評価もしない読み方です。^[1,2]

実機G1へ渡すものは、世界モデルと同じ入力ではない#

公式の実機映像では、ユニトリー・G1によるスキップのような跳躍、横転、回転を伴うフリップなどが示されています。著者は、同じ方策から多様でアクロバティックな動作を実行したと報告しています。これらは、研究者が実機で示したデモンストレーションです。この動画の独自シミュレーションを、その実機試験や論文全体の追試として扱うことはありません。映像の出所と、そこで確かめられることを分けます。^[1,2]

実機へ持っていくときには、観測できる情報が制約になります。公開設定の実機向けactorには、重力方向、アイエムユーの角速度、関節位置と速度、前回の行動といった自己受容情報を与え、参照動作の目標は別の入力で扱います。学習中の世界モデルが利用する状態や特権情報を、実機の方策も全部持っているとは限りません。学習用の予測器と、実行時の行動決定器を区別する必要があります。^[8]

また、論文が示した範囲には境界があります。主な対象は平地での全身動作追従であり、地形や物体との相互作用まで一般に解決したとはしていません。箱を抱える、ドアを開ける、人と接触する仕事では、身体以外の状態や接触条件も変わります。同じ世界モデルを共有する考え方は魅力的ですが、その効率が別の対象でも維持されるかは、追加の実験で確かめる論点です。^[1]

公開コードを動かすには、重みと設定の来歴が要る#

二〇二六年十一月十二日の確認時点で、公式実装はハイブリッド・ロボティクスのリポジトリに公開されています。ライセンスはアパッチ・ツー・ポイント・ゼロです。公式のコードが未公開だった時期の説明や、独立再現コードのエムアイティー・ライセンスを、そのまま今の公式実装へ当てはめないようにします。コード、学習データ、重み、映像は、それぞれ条件と公開状況を確認する対象です。^[3]

公式の導入手順は、スーパーミミックと、エムジェイラボ・リサーチを兄弟ディレクトリに置く構成です。パイソンは三点十三系を要求します。公開された再生スクリプトは、ワンダビーの実行パスから設定と、ワールドモデルおよびアクターの重みを取得します。ローカルのモーションファイルを渡せる一方、一般化座標か別の状態表現かといった設定は学習した実行と一致させる必要があります。^[3,9]

重要なのは、インストールが通ったこと、既成モデルを再生できたこと、論文の学習性能を追試したことを分ける点です。公開mainの既定設定が、論文の実機用の最終実行と完全一致するとは確認できません。追試として記録するなら、コードの版、依存関係、モーションのハッシュ、モデルの来歴、評価条件、実際の学習時間を残します。手元のGPU名だけを示して、論文の三時間を再現したとは言えません。^[7,9,10]

独自実験では、制御と予測の違いを見える形にする#

ここからの独自シミュレーションは、SuperMimicの性能追試ではなく、原理を理解するための教材です。G1の姿勢参照と、単純な比例・微分制御を使う物理計算を見比べます。比例の項は目標と現在の角度の差に反応し、微分の項は動く速さを抑えます。参照を描いた姿勢がきれいでも、実際の身体がそこへ追いつくか、足の支持を保てるかは別に確かめる必要があると示すためです。^[1,8]

もう一つは、単純な振子を使った微分可能な予測と制御の説明です。現在の角度と角速度、加える力から次状態を予測し、目標との差が小さくなる方向を勾配で探します。短い未来を計算して行動を変えるという構造を、少ない変数で追えるようにします。人型ロボットの接触を含む全身制御とは難しさが異なるため、この教材がうまく動いたことを、SuperMimicの学習結果の再現とは数えません。^[1,5]

収録した数値を使う場合は、その実行の条件と測定結果として表示します。まだ測っていない誤差や速度を、説明のための都合のよい実測値として足すことはしません。参照だけの再生には参照姿勢、物理計算には物理シミュレーション、予測器の出力にはモデル予測と表示します。映像が豊富であるほど、何を動かしている映像なのかを明確にすることが、技術解説の信頼性につながります。^[1]

収録に使ったコードも公開しています。実験コードをダウンロード。実行環境と手順。 G1モデルはUnitree Roboticsのunitree_mujoco、物理エンジンはMuJoCoです。^[15]モデルのライセンス表示。

次の焦点は、身体以外へ物理を広げられるか#

SuperMimicの実用上の意義は、派手な一つの動作を安く学ぶことだけにありません。同じ身体で多くの動作を学ぶとき、共有できる物理をモデルへ集め、方策の改善へ再利用する道筋を示した点にあります。世界モデルは、何でも分かる万能の世界理解ではなく、対象とした状態と行動の範囲で役に立つ予測器です。その範囲を具体的に定めたからこそ、計算効率と追従能力を検証できます。^[1]

開発へ取り入れる判断では、まず対象動作と身体の構成を固定し、参照から制御までのデータの形を揃えます。そのうえで、物理シミュレーションの追従誤差、終了率、接地、指令や関節の限界を測り、条件を変えた評価を追加します。未知の動作への評価と訓練集合での評価は分けます。これは編集部の提案する検証の進め方であり、論文があらゆる業務条件での合格を保証しているという意味ではありません。^[1]

今後の問いは、荷物、道具、地形のように、身体以外の物理が加わったときにも、同じ共有と微分の利点が続くかです。予測器の誤差が増える場所を発見し、必要な経験を追加しながら制御を改善できるか。その実験を小さな計算環境でも積み重ねやすくなるなら、全身制御の研究で比較できる仮説が増えます。今回の成果は、その実験の設計と計算の使い方を変える研究として読むのが適切です。^[1,2]