日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ヒューマノイド制御arXiv:2610.20606

拡散モデルによるヒューマノイド制御方策のニューラル重みのモデリングと理解

Modeling and Understanding Neural Weights of Humanoid Policies with Diffusion

シェア:XThreadsFacebookLINEはてブBluesky

線形オートエンコーダとDiffusion Transformerを組み合わせ、強化学習で得たUnitree G1の制御ネットワークの重み分布を生成的にモデル化し、実世界で歩行・ダンス・スピンキックを実行できるネットワークを生成した。さらに重み空間の解析から、第一層にロボットの運動学的 prior がRLとILの両方で共通して現れる構造原理を発見した。

詳しい要約

1. どんなもの？

- 人間型ロボットの制御ネットワークを、その学習済み重み(weight)の分布として生成的モデリングする研究。 - latent diffusion framework を採用し、linear autoencoder と Diffusion Transformer を組み合わせる。 - Unitree G1 ロボットの強化学習で得たネットワーク群で学習。 - 実世界で歩行・ダンス・spin kick 等を行う展開可能なネットワークを生成。 - 生成だけでなく、学習された重み空間の構造理解も行う。

2. 先行研究と比べてどこがすごい？

- 従来の人間型制御は通常の学習手続きでネットワークを得るものが主流。 - 学習済み重みの分布を直接モデリングし、重み空間で機能するネットワークを生成する点は注目が少なかった。 - 本研究は高性能な人間型制御ネットワークを重みから生成的モデリング可能か検証。 - 生成したネットワークが実世界で複数動作を実行できることを示す。 - 重み空間の構造原理(kinematic prior)を発見した点も新規。

3. 技術・手法の肝は？

- latent diffusion framework を採用。 - linear autoencoder が actor network のパラメータをコンパクトな latent space に圧縮。 - Diffusion Transformer がその latent の分布をモデリング。 - 学習データは Unitree G1 ロボットの強化学習から収集したネットワーク群。 - 生成された latent から展開可能なネットワークを復元。 - 第一層の重みにロボットの kinematic prior が反映される構造原理を同定。

4. どうやって有効だと検証した？

- Unitree G1 ロボットの強化学習で収集したネットワーク群で学習。 - 生成したネットワークを実世界に展開し、歩行・ダンス・spin kick 等の動作を実行。 - 生成ネットワークが実世界で機能することを確認。 - 学習された重み空間の構造を解析し、第一層重みの kinematic prior を同定。 - この kinematic prior が RL と IL の両方で現れることを確認。

5. 議論はある？

- 人間型ネットワークの重み空間での生成的モデリングの実現可能性を示す。 - 学習済み重みが符号化する情報への初期知見を提供。 - 第一層重みの構造原理がロボットの kinematic prior を反映。 - この kinematic prior は RL と IL の両方で現れ、特定の最適化過程に固有でなく、人間型身体性に関連する共通知識の可能性。 - 詳細な議論や限界は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として latent diffusion framework、Diffusion Transformer、linear autoencoder が挙げられる。 - 同分野の定番として reinforcement learning、imitation learning、humanoid control に関する研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huixuan Cheng, Bike Zhang, Shankar Sastry, Koushil Sreenath

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Recent advances in robot learning have driven rapid progress in humanoid control, enabling increasingly agile behaviors in the real world. However, humanoid control networks are typically obtained through conventional training procedures, while comparatively little attention has been given to directly modeling the distribution of their learned weights and generating functional networks in weight space. In this work, we investigate whether high-performing humanoid control networks can be generatively modeled directly through their weights. We adopt a latent diffusion framework that couples a linear autoencoder with a Diffusion Transformer. The autoencoder compresses actor network parameters into a compact latent space, and the Diffusion Transformer models the distribution of these latents. Trained on networks collected from reinforcement learning for the Unitree G1 robot, our approach generates deployable networks that perform various motions in the real world, including walking, dancing, and spin kick. Beyond generation, we further study the learned weight space to better understand the structure captured by these humanoid control networks. We identify a structural principle in the first-layer weights that consistently reflects the robot's kinematic prior. Notably, this kinematic prior emerges under both Reinforcement Learning (RL) and Imitation Learning (IL) training, suggesting that it is not specific to a particular optimization process but may instead reflect common knowledge associated with humanoid embodiment. Together, these results demonstrate the feasibility of generative modeling in humanoid network weight space, while providing initial insights into the information encoded by their learned weights. Additional results are available on our project website: https://humanoid-weight-diffusion.github.io/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI