何が起きたか
2026年5月24日にarxiv.orgで公開された論文「WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models」において、動画ベースの世界モデルをカメラ操作から物体操作へ拡張するフレームワークが提案された。WorldCraftは、ユーザーのクリックとスケッチした経路に基づき、選択した物体がその軌跡に沿って動く未来フレームを生成する。
詳細
WorldCraftは、軌跡中心の制御パイプラインを採用する。まず、Normalized World Trajectory (NWT) が、ユーザーが描いた動きをカメラ不変の世界座標系で表現し、現在のカメラ姿勢に応じて動的に再投影することで、物体の動きとカメラ起因のスクリーン空間変位を分離する。次に、Spatial-Pathway LoRA (SP-LoRA) が、この世界空間信号をモデルの空間制御経路に注入し、事前学習済みのカメラコントローラを維持しながら物体操作能力を追加する。最後に、Trajectory-Anchored State Persistence (TASP) が、世界軌跡を永続的な空間状態として扱い、軌跡条件付き生成後に自己回帰メモリを更新することで、物体がカメラ視界から外れた後も更新された位置に再出現できるようにする。実験では、正確な物体制御を実現し、カメラのみの評価で動画ベース世界モデルのカメラ忠実度を維持し、長い自己回帰ロールアウトとオフカメラ移動でも物体状態を維持することが示された。
Key Facts
| WorldCraftは、動画ベースの世界モデルをカメラ操作から物体レベルの軌跡操作へ拡張するフレームワークである。 | [1] |
| WorldCraftは、ユーザーのクリックとスケッチした経路に基づき、選択した物体が軌跡に沿って動く未来フレームを生成する。 | [1] |
| WorldCraftは、Normalized World Trajectory (NWT)、Spatial-Pathway LoRA (SP-LoRA)、Trajectory-Anchored State Persistence (TASP) の3つの要素で構成される。 | [1] |
| 実験では、正確な物体制御、カメラ忠実度の維持、長い自己回帰ロールアウトでの物体状態の維持が示された。 | [1] |
本紙の見方
今回の発表は、動画ベースの世界モデルにおける操作可能性の拡張という点で新規性がある。従来のモデルはカメラ操作のみをサポートし、ユーザーは視点を移動できるが物体には作用できなかった。WorldCraftは、物体レベルの軌跡操作を導入することで、モデルを受動的なシーン観察者から操作可能な環境へと進化させる。これは、実世界のインタラクションが本質的に物体中心であるという認識に基づいており、世界モデルの応用範囲を広げる可能性がある。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、世界モデル分野の進展として、カメラ操作から物体操作への拡張は、よりインタラクティブなシミュレーション環境の実現に向けた一歩と位置づけられる。 業界構造への含意としては、この技術はロボット工学や自動運転などの分野で、シミュレーション環境の精度と柔軟性を高める可能性がある。物体操作が可能になれば、ロボットのタスク学習や検証に利用できる仮想環境がより現実的になる。また、ゲームやコンテンツ制作においても、ユーザーがシーン内の物体を操作できるインタラクティブな体験を提供できる。 未確定の論点としては、WorldCraftの実装詳細や計算コスト、実世界の複雑なシーンでの性能が不明である。また、物体操作の精度がどの程度か、カメラ操作との組み合わせでどのような制限があるかも検証が必要である。さらに、この技術が実際の製品やサービスに応用されるかどうかは未定であり、今後の研究開発の進展が焦点となる。
なぜ重要か
WorldCraftは、動画ベースの世界モデルを物体操作可能な環境へ拡張することで、シミュレーションやインタラクティブコンテンツの可能性を広げる。これにより、ロボット学習や仮想環境でのユーザー体験がより現実的になる可能性がある。