日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2610.36011

3D基盤モデルを核とした未来予測型ロボット世界行動モデルE0.5

E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling

シェア:XThreadsFacebookLINEはてブBluesky

3D基盤モデルをバックボーンに据え、将来の3D状態と行動を同時予測する世界行動モデルE0.5を提案し、実機マニピュレーション成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- 3D foundation model を主バックボーンとする geometry-native な world-action model (WAM)『E0.5』の提案。 - 3D geometry を world modeling と action prediction の双方の native 表現として扱う。 - 行動だけでなく将来の 3D state も明示的に予測する。 - VWA family の一員として位置づけられる。

2. 先行研究と比べてどこがすごい？

- 主流の WAM は video foundation model や VLM を主バックボーンとする。 - VGGT 等の 3D model の geometric features を使う場合も、video model/VLM が主系で 3D は補助入力や予測対象に留まる。 - E0.5 は 3D foundation model 自体を主系に据え、geometry を native foundation とする点が異なる。 - action-only modeling や future video prediction を超え、将来 3D state と action を同時予測する。

3. 技術・手法の肝は？

- 3D foundation model を primary backbone として採用。 - 3D geometry を world modeling と action prediction の共通表現にする。 - 将来の 3D state と action を明示的に予測する学習を導入。 - AgiBotWorld-Beta の 160k 超の robot trajectories で embodied pretraining を行い、pretrained 3D foundation 内で action と future geometry を joint learning。

4. どうやって有効だと検証した？

- RoboTwin 2.0 で embodied-data pretraining 無しの E0.5 を評価。 - clean 設定で 89.90%、randomized 設定で 50.09% の success rate。 - AgiBotWorld-Beta で pretraining 後、実機 manipulation の mean success rate が AgileX Piper で約 15 ポイント、Zerith H1 で約 7 ポイント向上。

5. 議論はある？

- 3D geometry を native foundation とする有効性と、robot interaction knowledge の獲得・physical manipulation への転移可能性を示唆。 - ただし要旨からは、失敗要因、計算コスト、real-world の詳細設定、限界に関する議論は不明。 - randomized 設定の success rate 50.09% は clean 設定より低く、汎化や robustness に関する議論余地がある。

6. 次に読むべき論文は？

- VGGT（3D foundation model として言及） - video foundation model 系の WAM - VLM を backbone とする WAM - VWA family の関連 WAM - RoboTwin 2.0 および AgiBotWorld-Beta を用いた embodied pretraining 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: X-Era AI Lab Team, :, Jianhao Lai, Zhihao Zhan, Zhiquan Liao, Qichang Li, Shubin Chen, Zhiyuan Liu, Hongsen Lei, Jianman Lin, Xiaoxin Lin, Ke Gong, Baiyue Gu, Shiming Chen, Junlin He, Longqi Yang, Junrong Xiao, Haolin Luo, Xiaojuan Su, Jianfeng Li, Yu Luo, Xu Sun, Likui Zhang, Jusheng Zhang, Qinhan Lyu, Tianshui Chen, Liang Lin, Guangrun Wang

分類: cs.RO

原文アブストラクト

World-action models (WAMs) offer a promising framework for embodied intelligence, yet mainstream approaches remain centered on video foundation models or vision-language models. Even when geometric features extracted by 3D models such as VGGT are incorporated, they are typically passed into a video model or VLM that serves as the primary backbone, leaving 3D geometry as an auxiliary input or prediction target rather than the native foundation for world modeling. We present E0.5, a geometry-native world-action model built directly on 3D foundation models. E0.5 introduces two key innovations. First, it adopts a 3D foundation model as the primary backbone, making 3D geometry the native representation for both world modeling and action prediction. Second, it explicitly predicts future 3D states together with actions, enabling the model to capture geometric world dynamics beyond action-only modeling or future video prediction. Experiments on RoboTwin 2.0 first demonstrate the effectiveness of E0.5 without embodied-data pretraining, achieving success rates of 89.90\% and 50.09\% under clean and randomized settings, respectively. Building on these results, we further pretrain E0.5 on more than 160k robot trajectories from AgiBotWorld-Beta, jointly learning robot actions and future geometry within the pretrained 3D foundation. This embodied pretraining improves mean real-world manipulation success rates by approximately 15 and 7 percentage points on AgileX Piper and Zerith H1, respectively. Together, these results demonstrate the potential of geometry-native foundations to acquire robot interaction knowledge and transfer it to physical manipulation. E0.5 embodies this geometry-native approach as a member of the VWA family of world-action models.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI