VLA2026/9/15arXiv:2609.17372

XPACE: 異種経験からの世界モデルと行動モデルの統合学習

XPACE: Joint World and Action Modeling from Heterogeneous Experience

人間とロボットの多様な経験を動画予測で結びつけ、行動予測と世界シミュレーションを同時に行う統合モデルを提案し、ヒューマノイドロボットで人間の技能をロボット未経験タスクへ転移できることを示した。

詳しい要約

1. どんなもの？

- 汎用ロボット向けの統合的なembodied world model「XPACE」を提案。 - world action modelとして、実行可能なrobot actionsとfuture videoを同時予測。 - world simulatorとして、指定されたactionの視覚的結果を予測。 - 異種experience（action-unlabeled video、action-labeled human/robot demonstrations）を活用。

2. 先行研究と比べてどこがすごい？

- 従来はworld modelとaction modelが分離されがちだったが、XPACEはvideo backboneを共有し統合。 - action-unlabeled videoからvisual dynamicsを学習し、human demonstrationsをrobot policy改善に接続。 - simulatorを自己生成contextに適応させ、recovery supervisionを合成する点が新しい。 - 異種experienceの活用により、robot demonstrationsにないタスクへのhuman-observed skillsの転移を実現。

3. 技術・手法の肝は？

- policyとsimulator間でshared video backboneを使用。 - action-unlabeled videoでvisual dynamicsを学習、action-labeled human/robot demonstrationsでvideoとactionをjointly学習。 - coarse-to-fine training curriculumで徐々にrobot controlを強調しつつhuman experienceを保持。 - simulatorを自己生成contextに適応させ、expert demonstrations周辺のdeviation-recovery trajectoriesを合成し、フィルタリングしたrecovery examplesでpolicyをfine-tune。

4. どうやって有効だと検証した？

- XPENGのIRON humanoid robotを用いた実験。 - 異種trainingがrobustnessを改善し、human-observed skillsをrobot demonstrationsにないタスクへ転移可能であることを示す。 - model自身のsimulatorが生成したrecovery dataがreal-world task completionをさらに改善。

5. 議論はある？

- 異種experienceからの学習とsimulation-driven policy self-improvementを接続する可能性を示す。 - 具体的な限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてworld models、video prediction、imitation learning、reinforcement learning、sim-to-real transfer、humanoid robot learningの定番論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiacheng Wei, Jerry Bai, Xiaoyu Yue, Zidong Wang, Xiaoyang Guo, Cheng Chen, Fanqi Pu, Fan Wu, Zhixu Yue, Yizhuo Li, Feng Qiu, Bo Liu, Yuying Ge, Hui Zhou, Chenyi Chen, Yixiao Ge

分類: cs.RO

原文アブストラクト

A general-purpose robot needs to draw on diverse experience, choose actions, and anticipate how those actions will change the world. We introduce XPACE, a unified embodied world model that serves as both a world action model, jointly predicting executable robot actions and future video, and a world simulator, predicting the visual consequences of prescribed actions. Our key insight is that video prediction can both connect heterogeneous experience to action learning and generate new experience for policy improvement. With a shared video backbone between the policy and simulator, we use action-unlabeled video to learn visual dynamics and action-labeled human and robot demonstrations to jointly learn video and action prediction. Building on this architecture, a coarse-to-fine training curriculum progressively emphasizes robot control while retaining human experience, allowing the policy to learn behaviors beyond those covered by robot demonstrations. Beyond learning from recorded experience, XPACE uses its simulator to create additional recovery supervision for the policy. Specifically, we adapt the simulator to its own generated context, synthesize deviation-recovery trajectories around expert demonstrations, and fine-tune the policy on filtered recovery examples. Experiments on XPENG's IRON humanoid robot show that heterogeneous training improves robustness and enables transfer of human-observed skills to tasks absent from robot demonstrations, while recovery data generated by the model's own simulator further improves real-world task completion. Together, these results demonstrate how joint world and action modeling connects learning from heterogeneous experience with simulation-driven policy self-improvement.

arXivで原文を読む →arXiv概要ページ