日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2611.24925

ロボットを描画し世界を生成する:異なる身体をまたぐ単一の動画ワールドモデル

Render the Robot, Generate the World: One Video World Model Across Embodiments

シェア:XThreadsFacebookLINEはてブBluesky

未来の身体姿勢を描画した画像と行動軌跡を条件に、身体の種類に依存しない動画ワールドモデルを構築し、8種類のロボット・人間の身体データで学習して物体運動予測の精度を向上させた論文。

詳しい要約

1. どんなもの?

- カメラ整合のレンダリングと数値行動列を条件とする embodiment-agnostic な video world model「Doppel」 - 未来の身体構成を描画した rendering を入力に用い、環境側の物体運動や相互作用変化の予測に集中 - 単一の共有 video backbone と conditioning adapter を8つの robot/human embodiment で学習 - 約600時間の動画を使用し embodiment label なしで訓練

2. 先行研究と比べてどこがすごい?

- 従来の video world model は身体運動と環境応答の両方を数値行動から学習しようとしていた - 幾何・運動学が意図した動きを既に規定する点に着目し、rendering を明示的に与える - rendering が embodiment や action space をまたぐ共通の視覚インターフェースになる - 3つの robot-arm データセットで action-only baseline に対し PSNR が held-out で +1.00 dB、OOD で +1.20 dB 改善

3. 技術・手法の肝は?

- 未来の身体構成の camera-aligned rendering と数値行動列を条件とする embodiment-agnostic モデル - 単一の共有 video backbone と conditioning adapter を8 embodiment で joint training - camera extrinsics のない robot データセットでは camera pose を復元し、rendered trajectory を記録観測に整列 - embodiment label なしで8データセット(単腕・双腕・dexterous humanoid・human hands/bodies)を学習

4. どうやって有効だと検証した?

- 3つの robot-arm データセットで held-out trajectory と OOD 評価を実施 - action-only baseline と比較し PSNR が held-out で +1.00 dB、OOD で +1.20 dB 改善 - 物体運動の一貫性も向上 - 8 embodiment 学習の Doppel-8 が3-robot モデル Doppel-3 を6評価セット中4つで上回る

5. 議論はある?

- 8 embodiment 学習が常に改善するわけではなく、6評価セット中4つのみで Doppel-3 を上回る - embodiment 間の転移やデータ混合の影響については要旨からは不明 - camera pose 復元と rendering 整列の誤差影響は要旨からは不明 - 実ロボットでの closed-loop 性能は要旨からは不明

6. 次に読むべき論文は?

- action-only baseline の video world model(具体的名称は要旨からは不明) - Doppel-3 と Doppel-8 の比較研究 - camera pose 復元・trajectory 整列手法(具体名は要旨からは不明) - 関連する robot video world model の定番手法(例: video prediction / action-conditioned world model 一般)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yash Jangir, Karan Mirakhor, Renos Zabounidis, Muhammad Zubair Irshad, Sergey Zakharov, Yonatan Bisk, Homanga Bharadhwaj

分類: cs.RO

原文アブストラクト

Predicting the consequences of an agent's actions requires modeling both the body's motion and the environment's response. Most video world models attempt to learn both from numerical actions, even though geometry and kinematics already specify the intended motion. We introduce Doppel, an embodiment-agnostic video world model conditioned on camera-aligned renderings of future body configurations and numerical action trajectories. By explicitly providing the intended motion, Doppel can focus on predicting object motion and interaction-driven changes in the environment. Rendered motion also provides a common visual interface across different embodiments and action spaces. To train on robot datasets without camera extrinsics, we recover camera poses and align rendered trajectories with recorded observations. We jointly train a single shared video backbone and conditioning adapter on eight datasets spanning eight robot and human embodiments, from single- and bimanual robot arms to a dexterous humanoid and human hands and bodies, using about 600 hours of video without embodiment labels. Across three robot-arm datasets, Doppel improves PSNR over action-only baselines by 1.00 dB on held-out trajectories and 1.20 dB under out-of-distribution evaluation, while predicting more consistent object motion. Training on all eight embodiments (Doppel-8) improves robot predictions over the three-robot model (Doppel-3) on four of six evaluation sets. Project page: https://doppelwm.github.io/.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI