FEM-Bench、LLMの物理モデル生成能力を評価する新ベンチマークを公開

何が起きたか

2025年12月23日、arxiv.orgに「FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs」が公開された。このベンチマークは、LLMが有限要素法（FEM）および関連コードを正しく生成できるかを評価するもので、33のタスクで構成される。

詳細

FEM-Bench 2025は、計算力学の大学院初年度レベルの内容に基づく入門的だが簡単ではないタスク群で構成される。タスクは関数作成と単体テスト作成の2種類があり、それぞれの成功率が測定される。5回の試行で、関数作成で最良だったGemini 3 Proは33タスク中30タスクを少なくとも1回成功させ、26タスクを全5回成功させた。単体テスト作成で最良だったGPT-5は、平均ジョイント成功率73.8%を達成した。他の一般的なモデルでは性能に大きなばらつきが見られた。

Key Facts

本紙の見方

今回公開されたFEM-Benchは、LLMの物理世界に関する推論能力を評価する新たな試みとして位置づけられる。従来のベンチマークが自然言語処理や一般的なコーディング能力に焦点を当ててきたのに対し、FEM-Benchは計算力学という明確な数学的構造と物理的制約を持つ領域に特化している。これにより、LLMが単にコードを生成するだけでなく、物理現象を正しくモデル化し、数値的に妥当な解を導き出せるかが問われる。 本紙の過去報道では、ロボット工学や自動運転など、物理世界と直接関わる分野でのAI活用が進む一方で、その基盤となる物理モデルの生成や検証が課題となっていることを指摘してきた。例えば、2025年10月の記事「AIロボット、物理法則の理解に課題」では、ロボットが実環境で動作する際に物理的な常識を欠く事例が報告され、その原因として学習データの偏りが挙げられていた。また、2025年11月の記事「自動運転のシミュレーション検証、AI活用が進む」では、シミュレーション環境でのAIモデルの検証手法が注目されていると報じた。FEM-Benchは、こうした流れの中で、物理モデル生成の評価基盤を提供する点で画期的である。 業界構造への含意として、FEM-BenchはCAE（計算工学）分野におけるAI活用の促進に寄与する可能性がある。従来、FEMは専門家が手作業でモデルを構築しており、その自動化は長年の課題だった。LLMがFEMコードを生成できれば、設計プロセスの効率化が期待されるが、現状の性能では実用には程遠い。ベンチマークの結果は、LLMの物理推論能力がまだ初期段階にあることを示しており、今後のモデル改善の指針となるだろう。また、競合するAIモデル間の性能差が明確になることで、各社の開発戦略にも影響を与えるとみられる。 未確定の論点として、まずFEM-Benchのタスクが実際の産業用途でどの程度の複雑さをカバーしているかが挙げられる。現状は入門レベルであり、実務で求められる高度なモデル生成には対応していない。次に、ベンチマークの結果がモデルの汎用性をどの程度反映しているかが不明である。特定のモデルがこのベンチマークで高得点を取っても、他の物理領域で同様の性能を発揮するとは限らない。最後に、FEM-Benchの将来の拡張計画が示されているが、その具体的なロードマップは公開されていない。今後、タスクの難易度や範囲がどのように進化するかが注目される。 今後確認すべき点として、第一に、FEM-Benchのタスクが実際の産業用途でどの程度の複雑さをカバーしているか、第二に、ベンチマークの結果がモデルの汎用性をどの程度反映しているか、第三に、FEM-Benchの将来の拡張計画が具体的にどのようなものか、が挙げられる。

なぜ重要か

FEM-Benchは、LLMの物理世界の理解を測る新たな指標を提供する。これにより、AIが単なる言語処理から科学的推論へと進化する過程を追跡できる。また、計算力学分野でのAI活用が進めば、設計や解析の効率化が期待されるが、現状の性能では実用には遠く、今後のモデル開発の方向性に影響を与えるだろう。