StrucPhysVideo、構造化キャプションとロボット動作から物理ダイナミクスを学習する手法を発表

何が起きたか

arXivは2026年9月16日、物理ダイナミクスを学ぶ動画世界モデル群「StrucPhysVideo」を公開した。構造化注釈付きの動画データで学習するStrucPhysVideo-TI2Vは、Physics-IQ Verifiedで45.5%を記録し、Cosmos3-Super-Image2Videoを2.8ポイント上回った。さらに、ロボットのエンドエフェクタ命令から視覚的結果を予測するStrucPhysVideo-IA2Vも提示した。

詳細

データパイプラインは、モーションを考慮した動画セグメンテーション、品質・内容フィルタリング、物理的関連性の検証を組み合わせ、物体・材料・時間的に局在した相互作用を構造化注釈として付与する。これにより、カメラの動きと物体の挙動を分離し、接触、変形、状態遷移を明示的に記述する設計になっている。 StrucPhysVideo-TI2Vは、物理ダイナミクスを徐々に重視しつつ一般領域の動画データも維持するカリキュラムで学習した sparse Mixture-of-Experts（MoE）の text-image-to-video モデルである。StrucPhysVideo-IA2Vは、行動条件付き生成、因果的自己回帰生成、少ステップ蒸留を組み合わせ、4 denoising steps で段階的なロボットのロールアウトを行えるとしている。

Key Facts

本紙の見方

本件の新しさは、動画世界モデルを単に「見た目の予測」に寄せず、物理イベントを切り出した注釈とロボットの行動条件を学習信号に組み込んだ点にある。一方で、MoEを使うtext-image-to-videoモデルや、少ステップ蒸留で推論を軽くする設計自体は既存の動画生成・効率化の延長線上にある。主役はモデル名そのものより、データ作成と条件付けを物理現象中心に再編した構成である。 本紙の観点では、StrucPhysVideoの研究発表（2026-09-16） は、映像データの使い方を「自然言語の説明」から「接触・変形・状態遷移の監督」へ寄せた点が焦点だ。過去報道がないため連続性の指摘はできないが、少なくとも今回の記述からは、カメラ運動と物体運動を分離して学習することが性能向上の前提になっていると読める。これは、動画生成とロボット行動予測を同じ表現空間で扱う方向性を示す一方、単なる高画質化とは別の評価軸を前面に出している。 業界構造への含意は、計算資源よりもまずデータ整備にある。物理的関連性の検証や構造化注釈を含むパイプラインが前提になるため、学習データの取得・選別・ラベル設計がモデル性能を左右しやすい。さらに、IA2Vがエンドエフェクタ命令を入力に取る以上、今後の論点は動画生成の見栄えではなく、ロボット制御と整合する時間分解能、接触の再現性、少ステップ化の精度に移るとみられる。未確定なのは、学習データの規模、ロボット実機での検証範囲、どの操作タスクまで汎化するかである。

なぜ重要か

物理ダイナミクスを扱う動画世界モデルは、ロボットの行動結果を事前に予測する基盤になりうる。発表文では、StrucPhysVideo-IA2Vがロボットのエンドエフェクタ命令から視覚的結果を返す設計だとしており、画像生成ではなく制御予測に近い使い方が想定されている。

日本への影響

日本企業や研究機関にとっては、モデル本体の大型化よりも、接触・変形・状態遷移を含む実世界データの構造化が競争力の分岐点になりやすい。とくにロボットの動作データや検証環境を持つ主体は、学習データ設計と評価指標の整備で差が出る可能性がある。