ロコマニピュレーション2026/8/23arXiv:2608.22278

DreamMimic: ワールドモデルによる視覚運動全身ロコマニピュレーションの学習

DreamMimic: Learning Visuomotor Whole-Body Loco-Manipulation via World Model

ヒューマノイドロボットの視覚ベース全身ロコマニピュレーションを、ワールドモデル支援蒸留により学習するフレームワークを提案。特権教師ポリシーを視覚ベースの学生ポリシーに蒸留し、予測潜在ダイナミクスと補助予測ヘッド、適応蒸留スケジュールを導入して性能を向上させた。

詳しい要約

1. どんなもの？

DreamMimicは、ヒューマノイドロボットの視覚ベース全身移動操作（loco-manipulation）を学習するためのフレームワークである。特権的な教師ポリシーを、世界モデル支援蒸留（world-model-assisted distillation）を用いて視覚ベースの学生ポリシーに蒸留する。DreamerスタイルのRSSMを計画に使うのではなく、予測的潜在ダイナミクスを学習し、表現空間とアクション条件付き多段階監視信号として利用する。また、学生ポリシーにコンパクトな予測特徴を公開し、長期的ドリフトを軽減する。

2. 先行研究と比べてどこがすごい？

先行研究では、視覚ベースの全身制御は部分観測性、接触リッチなダイナミクス、高次元視覚入力からの長期的行動学習の困難さに直面していた。DreamMimicは、世界モデルを蒸留プロセスに組み込むことで、これらの課題に対処する。特に、特権状態をオンラインで公開せずに、予測潜在表現と補助予測ヘッドを用いて、接触リッチな移動操作に有用な信号を保持する点が新しい。また、Performance-Conditioned Guidance (PCG)により、教師と学生のパフォーマンススコアに基づいて蒸留スケジュールを適応的に調整し、教師の早期アニーリングや過干渉を防ぐ。

3. 技術・手法の肝は？

手法の核心は、世界モデルを蒸留のための表現空間と多段階監視信号として利用することである。具体的には、予測的潜在ダイナミクスを学習し、再構成目的に加えて、特権状態、接触、物体状態、報酬推定のための補助予測ヘッドを追加する。これにより、エージェントと物体の相互作用やタスク進行に関連する信号を潜在表現に保持する。さらに、PCGは教師と学生のパフォーマンススコアを計算し、蒸留のガイダンスと探索のバランスを動的に調整する。

4. どうやって有効だと検証した？

OMOMOとBEHAVEデータセットを用いた実験で、追跡ベースの移動操作性能を、強力な視覚ベースのベースラインと比較して向上させた。展開時にはオンラインの特権相互作用状態を学生に公開しない。さらに、定性的シミュレーションで形態やシミュレータの変更を検証した。

5. 議論はある？

要旨からは、議論の詳細は不明であるが、世界モデルが接触リッチなヒューマノイド行動における視覚ポリシー蒸留の安定化に有用であることが示唆されている。また、PCGの適応的スケジュールが重要である可能性が示唆されるが、限界や将来の課題については明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、DreamerスタイルのRSSM、OMOMO、BEHAVEが挙げられる。また、視覚ベースの模倣学習や蒸留に関する一般的な研究（例えば、DAggerやTeacher-Student蒸留）も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jie Yin, Xingyu Lai

分類: cs.RO

原文アブストラクト

Vision-based whole-body loco-manipulation on humanoid robots is challenging due to partial observability, contact-rich dynamics, and the difficulty of learning long-horizon behaviors from high-dimensional visual inputs. We present \href{https://github.com/DreamMimic/DreamMimic}{DreamMimic}, a framework that distills privileged teacher policies into vision-based humanoid controllers via world-model-assisted distillation. Instead of using a Dreamer-style RSSM for planning, we repurpose it to learn predictive latent dynamics that serve as both a representation space and an action-conditioned multi-step supervision signal, while exposing compact predictive features to the student policy to reduce long-term drift. Beyond standard reconstruction objectives for proprioceptive and visual observations, we add auxiliary prediction heads for privileged state, contact, object state, and reward estimation. These heads provide additional supervision related to agent--object interaction and task progress, encouraging the latent representation to retain signals that are useful for contact-rich loco-manipulation. We further introduce Performance-Conditioned Guidance (PCG), a reward-driven adaptive distillation schedule that computes performance scores for both teacher and student to dynamically balance guidance and exploration. PCG prevents both premature teacher annealing and excessive teacher interference in challenging visual settings. Experiments on OMOMO and BEHAVE show improved tracking-based loco-manipulation performance over strong vision-based baselines, without exposing online privileged interaction states to the student at deployment. Qualitative simulations further examine morphology and simulator changes. These results suggest that world models can provide a useful mechanism for stabilizing visual policy distillation in contact-rich humanoid behaviors.

arXivで原文を読む →arXiv概要ページ