日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ワールドモデルarXiv:2610.40401

連続行動ワールドモデル:異なる実体間の時空間ダイナミクス事前分布の学習

Continuous-Action World Models: Learning Cross-Embodiment Spatiotemporal Dynamics Priors

シェア:XThreadsFacebookLINEはてブBluesky

異なるロボット実体や制御周波数をまたいで共有できる行動の潜在関数空間を二段階で学習し、観測・言語指示・状態から任意時刻のエンドエフェクタ行動を生成する統一フレームワークを提案した。

詳しい要約

1. どんなもの?

- Continuous-Action World Models (CoAWM) というフレームワークの提案。 - 異なる embodiment や実行周波数をまたぐ robot action generation を支援する、cross-embodiment spatiotemporal dynamics priors を学習する。 - 中核は、robot actions の空間的・時間的構造を捉える shared latent function space。 - 観測・言語指示・現在の robot state を条件に latent action function を予測し、任意の query time に対して end-effector action を返す。

2. 先行研究と比べてどこがすごい?

- 異なる embodiment と sampling frequency の trajectories を共通表現に持ち込める点を主張。 - これにより pretraining に使えるデータ源の範囲が広がり、より大規模で多様なデータセットへの scaling が容易になるとする。 - shared dynamics priors を task-conditioned action selection や temporal sampling から分離する設計を特徴とする。 - 具体的な先行研究との定量的比較は要旨からは不明。

3. 技術・手法の肝は?

- 学習は二段階。 - 第一段階の function pretraining では、異なる embodiment・sampling frequency の trajectories を共通表現に変換し、action reconstruction と temporal sampling views 間の consistency を通じて shared dynamics priors を学習。 - 第二段階では、pretrained function space を world-model backbone に接続。 - observations・language instructions・current robot state が latent action function の予測を条件づける。 - 単一の decoder が任意の query time を受け取り、対応する end-effector action を出力。

4. どうやって有効だと検証した?

- 要旨からは不明。 - 記述されているのは、action reconstruction と temporal sampling views 間の consistency を用いた pretraining の仕組みのみ。 - 実験設定・ベンチマーク・評価指標・比較結果は要旨に記載がない。

5. 議論はある?

- 要旨からは不明。 - 主張として、shared dynamics priors と task-conditioned action selection・temporal sampling の分離が、embodiment と control frequency をまたぐ転移の統一基盤になると述べる。 - 限界・失敗事例・計算コスト・データ要件などに関する議論は要旨に記載がない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、world models、action chunking、diffusion policy など同分野の定番手法を次に読む候補として挙げる。 - cross-embodiment 学習や heterogeneous robot trajectories を用いた pretraining に関する研究も候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liangyu Li, Qingwen Liu

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

We introduce Continuous-Action World Models (CoAWM), a framework for learning cross-embodiment spatiotemporal dynamics priors that support robot action generation across embodiments and execution frequencies. At its core is a shared latent function space that captures the spatial and temporal structure of robot actions. We learn this space through two stages. First, function pretraining brings trajectories from different embodiments and sampling frequencies into a common representation, learning shared dynamics priors through action reconstruction and consistency across temporal sampling views. By accommodating heterogeneous robot trajectories, this stage broadens the range of data sources available for pretraining and facilitates scaling to larger and more diverse datasets. Second, we connect the pretrained function space to a world-model backbone, enabling observations, language instructions, and the current robot state to condition the prediction of a latent action function. A single decoder takes any query time and returns the corresponding end-effector action. By separating shared dynamics priors from task-conditioned action selection and temporal sampling, our approach provides a unified foundation for transferring robot experience across embodiments and control frequencies.

関連論文

PR本紙発行元 EmplifAI