WorldFlow、動画と3D軌跡を同時予測する世界モデルを発表

何が起きたか

2026年10月29日掲載の論文で、研究者らは動画と問い合わせ形式の3D軌跡を共同で予測する世界モデル「WorldFlow」を提案した。シミュレーションと実世界の物体レベルサンプル144万件で学習し、11のデータソースからなる評価ベンチマーク「WorldFlowBench」を構築した。論文によると、3つの評価セットすべてで、評価対象の学習ベース手法中、平均変位誤差（ADE）と最終変位誤差（FDE）が最小だった。

詳細

WorldFlowは、動画のグリッドに対応させた連続変位トークンで3D運動を表現し、Mixture-of-Transformers（MoT）バックボーンで動画と3D軌跡を同時に処理する。学習にはrectified-flow目的関数を用いる。WorldFlowBenchはシミュレーションおよび実世界の相互作用と空間推論タスクを含み、評価サンプルは1,678件である。 論文が示すSpatialCogセットのADEは0.060 mで、最も強い外部ベースラインと比べ54.2%低かった。また、フローのみで学習する変種に比べ、ADEは55.9%、FDEは68.5%低下したとしている。

Key Facts

本紙の見方

WorldFlowの技術上の焦点は、動画予測に3D運動の明示的な予測を組み合わせた点にある。論文は、既存の動画世界モデルでは3Dダイナミクスが暗黙的であり、行動ベースの方式は特定のロボット構成に依存しやすいと問題設定する。その上で、動画グリッドに沿う連続変位トークンとMoTバックボーンを用い、視覚的な変化と幾何学的な動きを同じモデルで扱う。これはロボットごとの行動表現をそのまま出力する方式とは異なる設計だが、異なるロボット構成への転用性能を実証したという意味ではない。 評価の読みどころは、144万件の学習サンプルだけでなく、11のデータソースにまたがる1,678件のWorldFlowBenchを併せて提示したことだ。SpatialCogのADE 0.060 m、外部ベースライン比54.2%減という結果に加え、フローのみの変種に対するADE・FDEの低下も報告されており、論文の比較では動画と3D軌跡の共同学習が軌跡予測に寄与した可能性を示す。ただし、これは論文内で用いたデータと評価条件に基づく結果であり、実機上の制御精度や安全性を示すものではない。 構造面では、シミュレーションと実世界の物体データを同じ学習系に含め、空間推論を含む評価セットで測る設計が特徴となる。動画から物体運動を予測する基盤として、ロボットの動作計画に利用できるかを検討する余地はあるが、論文の要旨が示すのは将来状態の予測であり、動作指令の生成や実機導入ではない。したがって、現時点で確認できる主張は予測モデルとベンチマーク上の性能に限られる。 次に見るべきなのは、評価に使われたデータソースごとの性能差、実世界データとシミュレーションデータの寄与、問い合わせる軌跡の条件を変えた場合の頑健性である。要旨には、実機での検証、利用したロボットの種類、推論速度、学習計算量、運用上の安全性は記されていない。これらが示されない限り、数値上の優位を実環境でのロボット性能や、特定の用途への適合性と同一視できない。

なぜ重要か

論文によると、動画と3D軌跡を共同で予測する方式は、SpatialCogでフローのみの変種よりADEを55.9%、FDEを68.5%低減した。物体の見え方だけでなく位置変化もモデル化する設計の評価結果だが、実機制御での効果や安全性を示すものではない。