日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2610.36791

汎用潜在行動を条件とするクロスエンボディメント世界モデル

RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions

シェア:XThreadsFacebookLINEはてブBluesky

人間動画・ロボット実演・シミュレーションを共通の3D潜在行動で条件付けし、異なる身体間で学習できる動画世界モデルを構築した。生成した疑似実演で実機ポリシーの成功率を向上させた。

詳しい要約

1. どんなもの?

- RynnWorld-Latentは、異種embodimentの相互作用動画から制御可能なworld dynamicsを学習するcross-embodiment video world model。 - RynnLAMが導入した3D-grounded latent actionsを共有conditioning interfaceとして用いる。 - 人間のinteraction videos、robot demonstrations、simulation rolloutsを共通のnative action spaceなしでjoint pretrainingできる。 - pretrained video transformer上に構築し、global action tokensとidentity-initialized local pathwayを組み合わせる。 - 23 datasets・約553.5M framesでpretrainし、post-trainingで対象robotに適応する。

2. 先行研究と比べてどこがすごい?

- 従来はrobot embodimentごとにaction spaceが非互換で、human videosにはnative control labelsがないためheterogeneous動画からの学習が困難だった。 - 本研究はRynnLAMの3D-grounded latent actionsを共有interfaceにすることで、共通native action spaceを不要にした点が新しい。 - human interaction videos・robot demonstrations・simulation rolloutsを同一frameworkでjoint pretrainingできる点が先行研究との差異。 - 公開benchmarkと2つのreal-robot platformでvideo prediction metricsの改善を報告。

3. 技術・手法の肝は?

- 共有conditioning interfaceとしてRynnLAMの3D-grounded latent actionsを採用。 - pretrained video transformerをベースに、global action tokensとidentity-initialized local pathwayを組み合わせ、actionをfuture video latentsに整列させる。 - 23 datasets・約553.5M framesでpretrainし、post-trainingでtarget robotsへ適応。 - データ生成は2経路: digital teleoperationはtarget robot commandsからaction-video demonstrationsを生成。 - latent-action synthesisはsource motionをedited initial frameへ転写し、retargeted pseudo robot actionsとpairingする。

4. どうやって有効だと検証した?

- 公開benchmarkおよび2つのreal-robot platformでvideo prediction metricsの改善を確認。 - 同一initial observationに対し異なるaction sequencesを与えた際のqualitative action followingを確認。 - synthetic mid-trainingがLIBEROおよびLIBERO-Plus上のpolicy success ratesを改善。 - 両generation routesが、評価設定においてreal-demonstration-only trainingよりreal-world policy success ratesを改善。

5. 議論はある?

- 結果はuniversal latent actionsがheterogeneous embodiments間で制御可能なvisual dynamicsを学習するscalable interfaceとなり得ることを支持。 - 一方、要旨からは限界・失敗事例・計算コスト・データバイアス等の詳細な議論は不明。 - 評価は公開benchmarkと2つのreal-robot platformに限定されており、一般化可能性の議論は要旨からは不明。 - post-trainingやpseudo robot actionsの品質が性能に与える影響は要旨からは不明。

6. 次に読むべき論文は?

- RynnLAM(3D-grounded latent actionsの提案元、共有conditioning interfaceの基礎)。 - LIBEROおよびLIBERO-Plus(policy success rates評価に用いられたbenchmark)。 - 比較対象としてreal-demonstration-only trainingおよびsynthetic mid-trainingに関する研究。 - cross-embodiment video world modelおよびlatent actionに関する関連手法(要旨で個別名の参照なし)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Zhao, Yinzhou Tang, Zixuan Wang, Minghao Zhu, Dongchi Huang, Xingyue Zhao, Qin Zhao, Kehan Li, Siteng Huang, Xin Li, Zhenyu Zeng, Mingxiu Chen, Deli Zhao, Zhongyu Li

分類: cs.RO

原文アブストラクト

Learning controllable world dynamics from heterogeneous interaction videos is challenging because robot embodiments use incompatible action spaces, while human videos lack native control labels. We present RynnWorld-Latent, a cross-embodiment video world model that uses the 3D-grounded latent actions introduced by RynnLAM as a shared conditioning interface. This representation enables joint pretraining on human interaction videos, robot demonstrations, and simulation rollouts without requiring a common native action space. Built on a pretrained video transformer, RynnWorld-Latent combines global action tokens with an identity-initialized local pathway that aligns actions with future video latents. We pretrain on 23 datasets comprising approximately 553.5M frames and adapt the model to target robots through post-training. The framework supports two data-generation routes: digital teleoperation uses target robot commands to generate action-video demonstrations, while latent-action synthesis transfers source motion to an edited initial frame and pairs the resulting rollout with retargeted pseudo robot actions. Experiments show improved video prediction metrics on public benchmarks and two real-robot platforms, alongside qualitative action following when different action sequences share the same initial observation. Synthetic mid-training improves policy success rates on LIBERO and LIBERO-Plus, and both generation routes improve real-world policy success rates over real-demonstration-only training in the evaluated settings. These results support universal latent actions as a scalable interface for learning controllable visual dynamics across heterogeneous embodiments.

関連論文

PR本紙発行元 EmplifAI