日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.41654

微分可能シミュレーションによる超効率的なヒューマノイド制御

$\nabla$Mimic: Ultra-Efficient Humanoid Control with Differentiable Simulation

シェア:XThreadsFacebookLINEはてブBluesky

接触を含む全身制御で問題となる勾配爆発を中央値相対クリッピングで抑え、GPU微分可能シミュレータNablaEngineで高速化することで、ヒューマノイドの動作追従を高効率に学習する手法を提案した。

詳しい要約

1. どんなもの？

- 人間型ロボット(Unitree G1)の全身運動追跡ポリシーを、シミュレータの厳密な微分(一階勾配)を用いて学習するフレームワーク。 - 微分可能GPUシミュレータ NablaEngine と、勾配爆発を抑える学習手法 ∇Mimic から構成。 - LAFAN1 の全40クリップを単一ポリシー・単一GPUで追跡する設定を扱う。

2. 先行研究と比べてどこがすごい？

- 従来主流の zeroth-order 手法(PPO 等)はシミュレータを black box として扱い、膨大なサンプル数を要する。 - 接触の多い全身制御では first-order 学習の勾配が爆発し、標準的な first-order ベースライン SHAC は数分で停止する。 - 学習した world model の surrogate gradients を使う先行手法(スコア0.82を1.2hで達成)に対し、シミュレータ自体の exact gradients で同等スコアを20分で達成し、さらに1.8hで0.874に到達。

3. 技術・手法の肝は？

- 逆伝播の各ステップで median-relative per-sample gradient clipping を行い、接触非微分性に由来する稀な非有界サンプルを抑制。 - 高コストなシミュレーション窓を multistep regression で再利用し、勾配スケールに依存しない action targets へ回帰。 - NablaEngine は MuJoCo の接触ダイナミクス全体を fused per-world kernels で計算し、制御1ステップ分の adjoint を単一 megakernel で実行。解析的勾配は float64 の有限差分と一致し、MuJoCo Warp adjoint より11.5倍高速。

4. どうやって有効だと検証した？

- LAFAN1 全40クリップの whole-body tracking を単一ポリシー・単一GPUで評価。 - スコア0.82を20分(先行 world-model 手法は1.2h)、0.874を1.8hで達成。 - SHAC が数分で勾配爆発により停止することも比較として報告。 - NablaEngine の解析的勾配を float64 finite differences と照合し、MuJoCo Warp adjoint との速度比較(11.5×)を実施。

5. 議論はある？

- 接触ダイナミクスが至る所で微分可能でなく導関数が発散する問題を、勾配クリッピングと回帰ターゲットで実務的に緩和している点が中心的論点。 - 厳密勾配が surrogate gradients より効率的であることを示す一方、クリッピング等の設計依存性や他タスクへの一般性は要旨からは不明。 - 計算コスト削減のため専用エンジン(NablaEngine)が必要という依存性がある。

6. 次に読むべき論文は？

- 比較対象の world-model を用いた humanoid motion tracking 手法(surrogate gradients による先行研究)。 - first-order ベースラインの SHAC。 - シミュレータ基盤として MuJoCo および MuJoCo Warp(adjoint 実装)。 - ベンチマークデータセット LAFAN1、対象機体 Unitree G1 の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weyl Lu, Yubei Chen

分類: cs.RO, cs.LG

原文アブストラクト

Robot policy learning is dominated by zeroth-order methods such as PPO, which treat the simulator as a black box and pay for it with enormous sample counts. First-order policy learning differentiates through the dynamics, but on contact-rich whole-body control it has rarely worked: its gradients explode. A recent world-model method showed that derivative information can make humanoid motion tracking far more efficient, using surrogate gradients of a learned model. We show that exact gradients of the simulator itself do better, once two obstacles are removed. Exact gradients contain rare unbounded samples, because contact dynamics is not differentiable everywhere and its derivative diverges near some events; and they are expensive, because the simulator's adjoint has to replay the contact solve. $\nabla$Mimic bounds these samples with median-relative per-sample gradient clipping at every step of the backward pass, and reuses each costly simulated window by multistep regression onto gradient-derived action targets, which bounds every action target independently of the gradient scale. NablaEngine, a differentiable GPU simulation engine for the Unitree G1, removes the cost: it computes MuJoCo's full contact dynamics with fused per-world kernels and the adjoint of a whole control step as a single megakernel, with analytic gradients that match float64 finite differences, $11.5\times$ faster than the available MuJoCo Warp adjoint. On whole-body tracking of all 40 LAFAN1 clips with one policy on one GPU, $\nabla$Mimic reaches the score reported by the state-of-the-art world-model method, 0.82, in 20 minutes instead of 1.2 h, and 0.874 in 1.8 h. SHAC, the standard first-order baseline, stops on exploding gradients within minutes. We release NablaEngine and $\nabla$Mimic as open-source infrastructure for first-order humanoid policy learning.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI