研究チーム、物理動画からコードを生成するベンチマーク「PhySimCode」を発表

何が起きたか

2026年10月11日、arXivに掲載された論文で、研究チームは物理動画から実行可能なPythonコードを生成するベンチマーク「PhySimCode」を発表した。対象は生動画のみで、モデルに物理法則の推定、パラメータ値の復元、動画を再現するランナブルなPython生成を求める。データセットは160.6K件で、162種類の物理現象をカバーする。

詳細

データセットには、解析的なSciPyシミュレーションと、PyBulletで描画した剛体、関節、流体、接触を伴うシーンが含まれる。各サンプルは、シミュレーションコード、物理パラメータ、レンダリング動画、観察内容、法則、常微分方程式、数値手法、検証チェックを含む構造化されたchain-of-thoughtを束ねている。 評価対象は10の最先端閉鎖系・オープンソースMLLMで、物理法則の正しさ、シミュレーション等価性、コードの実行可能性、パラメータ復元を測った。その結果、モデルは物理法則を4.27-4.93/5で比較的正確に述べる一方、動画からの推定では1.51-2.47/5にとどまり、最良システムのClaude Sonnet 4.6でも真値パラメータを±20%以内で復元できたのは7.7%だった。評価用の2,430本の動画と評価コードも公開されている。

Key Facts

本紙の見方

PhySimCodeの新しさは、動画理解を「説明できるか」ではなく「実行可能なシミュレーションコードに落とせるか」で測る点にある。既存のビデオ物理ベンチマークが、妥当性評価や将来状態予測にとどまっていたのに対し、今回は物理法則、数値手法、パラメータ復元、コード実行性まで一体で問う。つまり、視覚認識の正確さではなく、動画の背後にある力学を再構成できるかを直接見る設計である。 本紙の見方では、このベンチマークは「モデルが物理を知っている」ことと「物理を復元できる」ことを切り分けた点が重要である。モデルは法則を4点台で述べられても、動画からの推定は1点台から2点台にとどまり、Claude Sonnet 4.6でも±20%以内のパラメータ復元は7.7%だった。ここから読めるのは、言語としての物理知識と、観測からの定量復元の間に大きな断絶があるという事実である。研究の焦点は、単なる説明性能ではなく、どの観測特徴が質量・摩擦・初期条件などの推定に結びつくかに移るとみられる。 また、160.6K件・162現象という規模は、単一タスクの正解率ではなく、複数の物理領域をまたいだ汎化を試す設計だといえる。SciPyの解析シミュレーションとPyBulletの剛体・関節・流体・接触を同じ枠組みに入れているため、今後は「どの現象で失敗するか」がより重要になる。特に、接触や流体のような非線形要素、さらに観測ノイズや遮蔽を入れた場合に、コード生成がどこまで保たれるかは未確定の論点である。加えて、評価用2,430本の動画に対して、学習側のデータ構成や外部一般化の条件がどう設定されるかも確認が必要になる。

なぜ重要か

物理動画からコードへ直接変換できれば、ロボットやシミュレーションの検証で必要な「見た目の再現」ではなく、「力学として正しい再現」を評価しやすくなる。逆に、モデルが法則を言えるだけでは十分でないことが、今回の数値で示された。

日本への影響

日本では、ロボットや製造の実機データをシミュレーションに戻して検証する用途で、この種のベンチマークが参照点になる可能性がある。特に、接触や関節運動を含むPyBullet系の評価は、産業用ロボットや機械系の物理推定で必要な誤差許容の見極めに関係しうる。