WorldSolver: LLMエージェントはソルバ生成を通じて物理ダイナミクスをシミュレートできるか

- LLM-based agents が物理シミュレーションの solver を生成できるかを評価する benchmark『WorldSolver』を提案。 - 61 本の classic computer graphics 論文の物理現象から 168 の simulation tasks を構築し、7 つの physical domains を網羅。 - 各 task は固定の simulation environment を提供する code scaffold を含み、agent が solver 実装を補完する形式。 - 評価軸は Execution Checks、Visual Fidelity、Physical Plausibility の 3 次元。

- 従来の LLM agent 研究は科学的・工学的問題解決に進展があるが、物理 simulation の solver 生成能力は未探索だった。 - 既存 benchmark と異なり、物理理解・数学的定式化・software engineering を統合的に要求する点が新しい。 - 実行可能性だけでなく、視覚的忠実性と物理的妥当性まで評価する枠組みを提示。

- 各 task に code scaffold を用意し、simulation environment を固定して agent は solver のみを実装。 - solver は dynamic system の状態が時間発展する計算を担う。 - 評価は Execution Checks（実行成功）、Visual Fidelity（意図した動的挙動の再現）、Physical Plausibility（物理に基づく検証）の 3 次元。

- frontier agents を対象に実験を実施。 - 実行可能な solver の生成自体が難しく、visual/physical correctness の達成はさらに困難と判明。 - GPT-5.6-Sol と Claude-Opus-5 が相対的に良好だが、overall scores はそれぞれ 48.7% と 46.7% に留まる。

- WorldSolver は agentic solver generation への初期ステップと位置づけられる。 - 現状の frontier agents でも物理 simulation の忠実な再現は未達成であり、改善の余地が大きい。 - 動的物理世界を忠実に simulate できる agent への進展を促すことを期待。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、LLM-based agents による scientific/engineering problem solving、physics simulation、embodied AI、computer graphics の classic papers が挙げられる。 - 同分野の定番として、LLM agent の code generation benchmark や physics simulation benchmark を参照するのが有用。