日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.13164

Grounded-Dreamer: 物理的接地を伴う世界モデル合成データによるロボット学習

Grounded-Dreamer: Robot Learning from World Model Synthetic Data with Physical Grounding

シェア:XThreadsFacebookLINEはてブBluesky

少数の実画像からシミュレータで物理的に妥当な軌道を生成し、それを用いて動画世界モデルと逆動力学モデルを学習することで、人間の教示なしに実世界ロボット方策を訓練するフレームワークを提案。

詳しい要約

1. どんなもの？

- 実世界のロボットマニピュレーション方策の学習に必要な、多様で行動ラベル付きデータを合成するフレームワーク。 - 少数の実画像から、video world model と simulator physics engine を組み合わせ、物理的に妥当な軌道を生成。 - 人間の teleoperation を必要とせず、合成データのみで実世界ロボット方策を訓練。

2. 先行研究と比べてどこがすごい？

- 従来は human teleoperation、視覚的リアリティが限られる simulation、embodiment 固有の注釈が無い human videos に依存。 - Grounded-Dreamer は generative video model の視覚的リアリティと simulator の物理的正しさを統合。 - 人間のデモンストレーション無しで、物理的に grounded な合成データを生成し方策学習を促進。

3. 技術・手法の肝は？

- 実画像からタスク関連物体とカメラ幾何を自動再構成し、simulation で位置合わせ。 - 物理的に有効な軌道を収集し、video world model と inverse dynamics model を post-train。 - 生成された軌道を再構成 simulation でリプレイし、タスク成功したもののみを保持して物理的妥当性をフィルタリング。

4. どうやって有効だと検証した？

- 実世界タスクにおける実証結果で、Grounded-Dreamer が物理的に grounded なデータを合成し、人間の teleoperation 無しで方策学習を大幅に促進することを示した。 - 具体的な評価指標やベースラインとの比較数値は要旨からは不明。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、video world model、inverse dynamics model、simulation-to-real transfer、robot manipulation policy learning に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Feng Jiang, Shu Chen, Yuanfei Wang, Yuan Li, Zhenhao Shen, Jiaqi Liang, Yang Chen, Lei Wei, Chen Xie, Ruihai Wu

分類: cs.RO

原文アブストラクト

Scaling robot manipulation policies requires large amounts of diverse, action-labeled data, yet collecting such data in the real world remains expensive and difficult to scale. Existing methods either depend on human teleoperation, rely on simulation with limited visual realism, or use human videos that lack embodiment-specific annotations. In this paper, we introduce Grounded-Dreamer, a framework for synthesizing physically grounded robot manipulation data with video world models while avoiding human teleoperation demonstrations. Grounded-Dreamer combines the visual realism of generative video models with simulator physics engines. Starting from a small set of real images depicting robot task initial states, our method automatically reconstructs task-relevant objects and camera geometry, aligns them in simulation, and collects physically valid trajectories. These trajectories are used to post-train both a video world model and an inverse dynamics model, enabling the generation of visually realistic robot manipulation videos and corresponding robot actions from real images. To filter physically implausible rollouts, Grounded-Dreamer replays generated trajectories in the reconstructed simulation and retains only those that successfully complete the tasks. The real-world robot policies are trained solely on the grounded synthetic trajectories without any human demonstrations. Empirical results in real-world tasks demonstrate that Grounded-Dreamer can synthesize physically grounded data and substantially facilitate policy learning without requiring human teleoperation effort.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI