Code2Worlds-2、物理シミュレーション対応の世界生成手法を提案

何が起きたか

Code2Worlds-2は2026-10-13に、自然言語から生成した4D世界を、物理エンジンが読み込み実行できる「実行可能な世界」へ変える手法として発表された。中核は、視覚的な生成結果をシミュレータ互換表現に変換するSimReady Scene Compilerと、シミュレータの結果を見ながら物理設定を修正するSimulator-in-the-Loop 4D Refinerの2段構えである。論文はあわせて、エンボディドなシミュレーション評価のためのベンチマークSimCode4Dも提示した。

詳細

SimReady Scene Compilerは、生成された दृश्यに対して凸分解による衝突メッシュ付与、vision-language modelによる物理属性推定、軽量なsupport graph推定、エンジンのcontact・friction・dynamics制約の設定、gravity settling passを行い、MuJoCo MJCFとして出力する。これにより、見た目だけの4Dシーンを、物理エンジンでstepできる表現へ落とし込む設計である。 Simulator-in-the-Loop 4D Refinerは、compile、simulate、critique、refineのループを自動化するagent harnessであり、見た目の動きではなく、penetration depth、collision pairs、stability、contact forces、joint limits、robot reachabilityを検査するsimulator criticに置き換える。論文はSimCode4Dについて、state-based benchmarkであり、5つのtask templatesを持つと説明している。

Key Facts

本紙の見方

Code2Worlds-2の新しさは、生成した4D世界を「見栄えの良い動画」から、物理エンジンが受け取れる記述へ変える点にある。単なる映像生成ではなく、衝突メッシュ、摩擦、関節構造、重力下での安定性まで扱い、MuJoCo MJCFに落とし込む設計は、世界生成とシミュレーションの境界を縮める。既存の生成パイプラインを維持しつつ、後段にコンパイラと反復修正ループを足しているため、完全な置き換えというより、可視化中心の流れを実行可能性重視へ寄せた拡張とみるのが自然である。 本紙の関連記事はないが、今回の論文は「シーンを生成する」段階から「物理的に検証できる」段階へ焦点を移している点で、生成AIの評価軸を変えている。SimReady Scene Compilerが入力側の幾何・物理属性を整え、Simulator-in-the-Loop 4D Refinerが出力側の挙動をシミュレータで批評するため、データ生成、物理推定、検証、再生成が1本の連鎖になる。ここで重要なのは、critiqueが画像の自然さではなく、貫通、接触力、関節制約、ロボット到達可能性といった実機・実環境寄りの指標になっている点である。 業界構造への含意としては、3点がある。第1に、世界モデルの価値が「レンダリング品質」だけでなく、ロボットが使えるかどうかに移る可能性がある。第2に、MuJoCo MJCFへの変換やsupport graph推定のような中間表現が、生成モデルと制御・計画系の接点になる。第3に、SimCode4Dのようなstate-based benchmarkが増えるほど、評価は主観的な見た目から物理的一貫性へ寄る。ただし、実験対象の規模、実装の計算コスト、既存シミュレータとの汎用性、robot interactableの評価基準がどこまで安定しているかは、論文本文の実験条件と合わせて確認が必要である。

なぜ重要か

この手法は、生成された3D/4Dシーンをロボットが扱える物理表現へ近づけるため、研究用途ではシミュレータ上の検証や訓練に接続しやすくなる。発表文面上は、視覚的にもっともらしいだけでなく、contact、friction、joint limitsなどの条件を満たすことを重視しており、従来の動画生成との差が明確である。

日本への影響

日本では、MuJoCoのような物理シミュレータを使うロボティクス研究や、製造・物流向けの仮想検証で、この種の「物理的に実行可能な世界モデル」が関係しうる。特に、関節制約や接触力まで扱う設計は、実機試験の回数を抑えたい分野で関心を持たれやすいとみられる。