動画生成/世界モデル2026/8/27arXiv:2608.27406

CLAP: クロスエンボディメント動画世界モデルはゼロショット物理シミュレータ

CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators

異なるロボットや人間の動画を統合して学習するクロスエンボディメント動画生成フレームワークを提案し、ゼロショットで実世界タスクに適用可能な物理シミュレータを実現した。

詳しい要約

1. どんなもの？

CLAPは、多様なロボット形態や人間の動画を含む大規模なheterogeneous videoデータで訓練可能な、cross-embodiment action-conditioned video generationフレームワーク。end-effector poses、language instructions、latent actionsの3つのaction表現を統合し、物理法則の普遍性を活用して、未見のロボットやタスクに対してzero-shotで物理シミュレータとして機能するvideo world modelを構築する。

2. 先行研究と比べてどこがすごい？

従来のaction-conditioned video modelsは単一のロボットembodimentに限定され、多様なvideoデータを活用できなかった。CLAPはcross-embodiment学習を可能にし、heterogeneousデータから一般化可能な物理知識を獲得する点で優れる。さらに、DROIDなどの困難な環境でsingle-embodimentのSOTAモデルに匹敵または上回る性能を示し、few-shot adaptationでさらに向上する。

3. 技術・手法の肝は？

手法の核は、(1) 異なるaction空間をend-effector poses、language instructions、latent actionsで統合すること、(2) curriculum-based cross-embodiment learning recipeを導入し、まずlatent actionsでラベルなし動画から物理的先行知識を学習し、その後end-effector action空間に接地してzero-shot展開を可能にすること。

4. どうやって有効だと検証した？

DROID、Bridge、bimanual YAM robots、G1 humanoidsなどの多様な環境で評価し、single-embodimentのSOTAモデルと比較して、cross-embodiment設定で同等以上の性能を達成。few-shot adaptationにより性能がさらに向上することを示した。

5. 議論はある？

要旨からは、action表現の選択やcurriculum学習の詳細、限界についての議論は不明。ただし、cross-embodiment学習の難しさ（action表現の差異、人間動画でのaction欠如）に対処しているが、latent actionsの品質や、異なるembodiment間の物理的差異の扱いなどが課題となる可能性がある。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、single-embodiment video world models（例：DROIDで訓練されたモデル）や、action-conditioned video generationの既存手法が挙げられる。また、latent actionsを用いた手法や、cross-embodiment学習に関する研究（例：Robotics transformer）も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kechen Liu, Ola Shorinwa

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

State-of-the-art action-conditioned video models are typically restricted to a single robot embodiment, preventing them from leveraging the vast corpus of heterogeneous video data that contains rich signals for learning generalizable physics. To bridge this gap, we introduce CLAP, a framework for cross-embodiment action-conditioned video generation capable of being trained on diverse, internet-scale videos across human and robotic agents. CLAP is grounded in the insight that universal physical laws govern spatiotemporal dynamics regardless of the actor. However, cross-embodiment learning is non-trivial because action representations vary sharply across robot platforms and are typically absent in human videos. CLAP addresses this fundamental challenge through the following core contributions. First, CLAP reconciles disparate action spaces using end-effector poses, language instructions, and latent actions. Second, to resolve their individual limitations, CLAP introduces a curriculum-based cross-embodiment learning recipe that first learns foundational physical priors across unlabeled video data using latent actions and subsequently grounds them in end-effector action spaces for zero-shot deployment to real-world tasks. Crucially, CLAP approaches or surpasses state-of-the-art single-embodiment video models in challenging environments like DROID. These performance advantages compound via few-shot adaptation to establish a novel paradigm for training single-embodiment video world models. Ultimately, CLAP delivers the most comprehensive suite of action-conditioned video world models to date - spanning diverse action-conditioning spaces (end-effector, language, and latent) and robot morphologies (including cross-embodiment, DROID, Bridge, bimanual YAM robots, and G1 humanoids). We open-source all code and models. Project Website at https://omni-clap.github.io .

arXivで原文を読む →arXiv概要ページ

← 論文一覧