ワールドモデル2026/9/10arXiv:2609.12036

Pelican-Sim 1.0：身体性知能のための汎用ワールドモデルシミュレータ

Pelican-Sim 1.0: A General World Model Simulator for Embodied Intelligence

視覚文脈とロボット行動から将来の観測を予測する汎用ワールドモデルシミュレータを提案し、統一行動表現やMoE、効率的なロールアウト生成により行動制御性と映像品質を大幅に向上させた。

詳しい要約

1. どんなもの？

- 具現化知能向けの汎用world model simulator「Pelican-Sim 1.0」を提案。 - 視覚contextとrobot actionから将来のobservationを予測し、下流の学習・意思決定を支援。 - 4つの設計特徴: 28次元のunified action representation、action-visual injection、sparse mixture-of-experts (MoE)、効率的rollout生成。 - 約100万の実世界・シミュレーションtrajectoryで学習。

2. 先行研究と比べてどこがすごい？

- 異種embodiment間で単一モデルを有効化するunified action representation。 - action-visual injectionにより、代替fusion baseline比でPSNR +0.904の制御性向上。 - sparse MoEによりdense backbone比でFVD -6.530、異種dynamicsへの容量増加とモダリティ間衝突を低減。 - 4-step autoregressive simulatorで35-stepモデル比5.67倍の高速化。 - 最強baseline比でPSNRがAgiBotWorld Beta +4.636、RoboMIND +2.080、RoboTwin +10.343。 - EWMBench DYN scoreがRoboTwinで+0.426。

3. 技術・手法の肝は？

- 28次元action value spaceで主流embodimentをカバーするunified action representation。 - URDFとcamera-rendered action videoによるaction-visual injectionでactionとpixelを橋渡し。 - sparse MoE層で異種dynamicsの容量を追加し、action modalityを吸収。 - causal adaptationとfew-step distillationによる4-step autoregressive simulator。

4. どうやって有効だと検証した？

- 約100万の実世界・シミュレーションtrajectoryで学習。 - PSNR、FVD、EWMBench DYN scoreで評価。 - RoboTwinで4つの下流応用: 500生成trajectoryを50デモに追加でpolicy成功率70%→93%、policy評価でPearson相関0.994、action selectionで相対成功利得47.7%、policy improvementで20.3%。 - trajectory、scene、object、embodiment、viewpointシフトへの定性的汎化を確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: AgiBotWorld Beta、RoboMIND、RoboTwin、EWMBench。 - 関連手法: world model simulator、mixture-of-experts (MoE)、action-visual injection、causal adaptation、few-step distillation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shilong Zou, Shilin Zhang, Yingji Zhang, Yuhang Huang, Yi Zhang, Zeyuan Ding, Han Dong, Junwei Liao, Yong Dai, Jian Tang, Xiaozhu Ju

分類: cs.RO, cs.AI

原文アブストラクト

In this technical report, we propose Pelican-Sim 1.0, a general world model simulator for embodied intelligence that predicts future observations from visual context and robot actions to support downstream learning and decision making. The model incorporates four key design features: (1) Unified action representation: a 28-dimensional action value space covering most mainstream embodiments, keeping one model valid across heterogeneous devices. (2) Action-visual injection: URDF- and camera-rendered action videos bridge actions and pixels, giving markedly better controllability across embodiments, scenes, and tasks (PSNR +0.904 over alternative fusion baselines). (3) Sparse mixture-of-experts (MoE): sparse MoE layers add capacity for heterogeneous dynamics and absorb the action modality while reducing inter-modality conflict (FVD -6.530 vs. the dense backbone). (4) Efficient rollout generation: causal adaptation and few-step distillation yield a four-step autoregressive simulator, achieving a 5.67-fold speedup over the 35-step model. Benefiting from these designs, we train on approximately one million real-world and simulated trajectories and obtain large gains in action controllability and video quality: PSNR improves over the strongest evaluated baselines by 4.636 on AgiBotWorld Beta, 2.080 on RoboMIND, and 10.343 on RoboTwin, with the adapted EWMBench DYN score up 0.426 on RoboTwin. Relying on this, four downstream applications on RoboTwin succeed: 500 generated trajectories added to 50 demonstrations per task raise policy success from 70% to 93%; policy evaluation reaches a Pearson correlation of 0.994 across five checkpoints; and relative success gains reach 47.7% for action selection and 20.3% for policy improvement. Qualitative generalization across trajectory, scene, object, embodiment, and viewpoint shifts highlights its potential as a general-purpose world model simulator.

arXivで原文を読む →arXiv概要ページ