VLA2026/10/15arXiv:2610.21095

統一因果学習下で世界モデルと行動モデルは相互に利益をもたらすか？

Can World and Action Modeling Benefit Each Other under Unified Causal Training?

シェア:X Threads Facebook LINE はてブ Bluesky

行動を条件とした世界予測と政策学習を同一の映像・行動アーキテクチャで統合するOneWMを提案し、世界モデリングと行動生成が相互に性能を高め合うことを実機実験を含めて示した。

詳しい要約

1. どんなもの？

- 世界モデリングと行動モデリングの相互利益を統一因果訓練で検証する研究。 - OneWMというフレームワークを提案。 - 行動を世界予測の条件かつ政策学習のターゲットとして扱う。 - 共有のvideo-actionアーキテクチャを採用。 - LIBERO, LIBERO-Plus, RoboCasa365と実世界実験で評価。

2. 先行研究と比べてどこがすごい？

- 従来は世界モデリングと行動モデリングが別々に研究されることが多かった。 - 統一因果訓練下での相互利益は不明だった。 - 本研究は両者の相互利益を肯定的に示した点が新しい。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は？

- 行動を世界予測の条件と政策学習のターゲットの両方として扱う。 - 共有のvideo-actionアーキテクチャで統一因果訓練を実施。 - 指定行動に条件付けられた順動力学学習が行動学習を改善するか検証。 - 行動生成学習が行動条件付き世界モデリングを改善するか検証。

4. どうやって有効だと検証した？

- LIBERO, LIBERO-Plus, RoboCasa365をembodied testbedとして使用。 - 政策学習と世界モデリングの両方を評価。 - 実世界政策実験も実施。 - 指定行動の視覚的結果学習が政策性能とシーン変化への汎化を改善。 - 行動学習が同一アーキテクチャ下で多視点世界予測忠実度を改善。

5. 議論はある？

- 両質問に肯定的に答え、統一因果訓練下での相互利益を支持。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番としてWorld Models, Dreamer, LIBERO, RoboCasaなどが関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue Su, Bokai Lin, Xinkai Wang, Chubin Zhang, Xiangnan Wu, Kuan Zhang, Weiyang Jin, Jiwen Yu, Yiming Li, Cewu Lu, Lixin Yang, Xihui Liu

分類: cs.CV

原文アブストラクト

World and action modeling are closely related, yet their reciprocal benefits under unified causal training remain unclear. We introduce OneWM, a simple framework for unified causal training that treats actions as both conditions for world prediction and targets for policy learning within a shared video-action architecture. Using this framework, we investigate whether learning forward dynamics conditioned on specified actions improves action learning, and whether learning to generate actions in turn improves action-conditioned world modeling. We use LIBERO, LIBERO-Plus, and RoboCasa365 as embodied testbeds to evaluate both policy learning and world modeling, complemented by real-world policy experiments. Learning the visual consequences of specified actions improves policy performance and generalization across changing scenes. In turn, action learning improves multi-view world-prediction fidelity under the same architecture. Together, these results answer both questions positively, supporting reciprocal benefits between world modeling and action generation under unified causal training.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

PR本紙発行元 EmplifAI