日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
歩行arXiv:2609.12347

DWMP:双対世界モデルによるヒューマノイドの障害物踏破

DWMP: Leveraging Dual World Models for Humanoid Obstacle Traversal

シェア:XThreadsFacebookLINEはてブBluesky

固有感覚と視覚の特性の違いに着目し、Koopmanベースの動力学世界モデルとRSSMベースの視覚世界モデルを組み合わせてヒューマノイドの障害物踏破を実現する手法を提案した。

詳しい要約

1. どんなもの?

- 人型ロボットが障害物を踏破するための強化学習フレームワークDWMPを提案。 - 固有感覚と視覚の特性の違いを考慮し、別々のworld modelで表現。 - Koopmanベースのdynamics world modelで固有感覚を線形化。 - RSSMベースのvisual world modelで視覚を圧縮。 - 融合した潜在表現をstudent policyが利用。

2. 先行研究と比べてどこがすごい?

- 既存手法はマルチモーダル観測を一括処理し、特性の違いを明示的に考慮しない。 - DWMPは固有感覚の非線形性と視覚の高次元・ノイズ・冗長性に個別対応。 - これにより障害物踏破性能が向上し、実機展開も可能。

3. 技術・手法の肝は?

- Koopman-based dynamics world model: 固有感覚を潜在空間に持ち上げ、時間発展をほぼ線形化。 - RSSM-based visual world model: 自己中心深度画像をコンパクトな確率的状態に圧縮し、障害物形状を保持。 - 融合潜在表現をstudent policyに与え、行動生成。 - 線形化固有感覚ダイナミクスと圧縮視覚知覚を組み合わせ。

4. どうやって有効だと検証した?

- シミュレーション実験でベースラインと比較し、障害物踏破性能の向上を確認。 - Unitree G1人型ロボットで実世界展開を実施。 - ランダム化された障害物レイアウト下での有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Koopman-based dynamics world model - RSSM-based visual world model - Unitree G1 humanoid robot - 強化学習による人型ロボットの障害物踏破に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rongjun Jin, Jianming Ma, Yue Gao

分類: cs.RO

原文アブストラクト

Humanoid robots must traverse cluttered obstacle fields using onboard proprioceptive and visual observations, yet existing methods usually process multimodal observations without explicitly considering their different characteristics: proprioceptive observations are low-dimensional but governed by highly nonlinear robot dynamics, while egocentric visual observations are high-dimensional, noisy, and redundant. We propose DWMP (Dual World Model Policy), a framework that provides the actor with separate but complementary world-model representations for humanoid obstacle traversal. A Koopman-based dynamics world model lifts proprioceptive observations into a latent space where their temporal evolution is approximately linear, making the dynamics features easier for the actor to learn from. An RSSM-based visual world model compresses egocentric depth observations into compact stochastic states while preserving obstacle-related geometry. The student policy receives the fused latent representation for action generation, combining linearized proprioceptive dynamics with compressed visual perception. Experiments in simulation and on a Unitree G1 humanoid robot show that DWMP improves obstacle traversal performance over baselines and supports real-world deployment under randomized obstacle layouts.

関連論文