E0.5、3D形状を基盤に未来状態と動作を予測するロボット向けモデルを提案

何が起きたか

arXiv掲載論文は2026年10月26日、E0.5を、3D基盤モデルを主たる基盤として未来の3D状態と動作を予測するロボット向けWorld-Action Modelとして提案した。RoboTwin 2.0で、身体性データによる事前学習なしに、クリーン条件で89.90％、ランダム化条件で50.09％の成功率を報告した。さらにAgiBotWorld-Betaの16万超のロボット軌跡で事前学習し、AgileX PiperとZerith H1の実世界操作で平均成功率がそれぞれ約15ポイント、約7ポイント向上したとしている。

詳細

E0.5の設計では、既存の主流手法が映像基盤モデルや視覚言語モデルを中心に置き、VGGTなどの3Dモデル由来の幾何特徴を補助入力または予測対象として扱うのに対し、3D基盤モデルを主要バックボーンとする。3D形状を世界のモデル化と動作予測の双方に用い、動作だけでなく未来の3D状態も明示的に予測する。 論文は、RoboTwin 2.0の評価に続き、AgiBotWorld-Betaから得た16万超のロボット軌跡を使い、動作と未来の幾何形状を共同で学習したと説明する。E0.5はWorld-Action ModelのVWAファミリーの一つと位置づけられている。

Key Facts

本紙の見方

E0.5の特徴は、3D情報を映像モデルや視覚言語モデルに渡す補助的な特徴量として扱うのではなく、3D基盤モデルを世界表現と動作予測の中核に置いた点にある。さらに、出力を動作だけに限らず未来の3D状態と組み合わせる。したがって本論文の焦点は、ロボットの動作を生成する際に、幾何形状の変化をモデル内部でどう扱うかにある。これは、動画予測を動作学習の代替とする設計とも、3Dを追加情報として使う設計とも異なる。 評価結果は二段階で示された。身体性データで事前学習していないRoboTwin 2.0のクリーン条件では成功率89.90％、ランダム化条件では50.09％であり、条件間に差がある。続く実機評価では、AgiBotWorld-Betaの16万超の軌跡で動作と未来の幾何形状を共同学習した後、AgileX Piperで約15ポイント、Zerith H1で約7ポイントの平均成功率向上を報告した。この並びからは、シミュレーション環境での成績と、実機データを加えた際の改善が別の評価段階として扱われていると読める。ただし、要旨だけでは成功率の絶対値、試行数、タスク構成、比較対象は確認できず、改善幅だけから機体間の性能を比較することはできない。 構造面では、16万超の軌跡を、動作と3D形状の変化を結びつける学習材料として用いた点が重要である。映像中心の学習と比べ、幾何表現を基盤にする設計が、異なるロボットや操作条件へどの程度転移するかが検証課題になる。一方、要旨に記載された実機はAgileX PiperとZerith H1の二機種であり、ここでの改善を他の機体や作業へ一般化する根拠は示されていない。次に確認すべきなのは、軌跡の収集条件やタスク範囲、事前学習なしの実機成績、成功率の算出方法、3D状態予測が動作改善にどれだけ寄与したかである。これらが分からなければ、3Dを基盤とする方式そのものの効果と、追加データによる効果を切り分けにくい。

なぜ重要か

E0.5は動作予測に加えて未来の3D状態を明示的に予測し、16万超のロボット軌跡で両者を共同学習する設計を示した。論文が報告した実機の改善幅はAgileX Piperで約15ポイント、Zerith H1で約7ポイントであり、3D幾何を基盤にする学習が実世界操作にどう結びつくかを評価する具体的な比較材料となる。