材料科学ベンチマーク2026/10/30arXiv:2610.41162

材料研究フロンティアを測る言語モデルベンチマークFrontierMat

FrontierMat: Benchmarking Language Models at the Frontier of Materials R&D

航空宇宙・半導体・核融合など先端材料研究の実問題330問を専門家検証付きで収集し、言語モデルのフロンティア推論能力を評価するベンチマークを構築した。

詳しい要約

1. どんなもの？

- 材料研究開発の最先端を対象とした言語モデル向けベンチマーク FrontierMat の提案 - 航空宇宙、半導体、embodied intelligence、核融合などの frontier な学術・産業研究から 330 問を収集 - 各問題は実研究に基づき、隠された結果の推論や実験証拠からの結論導出を要求 - functional domain、material system、支配的機構の scale で注釈付けされ、130 問は cross-scale reasoning を要する - 教科書・試験由来の既存ベンチマークでは測れない frontier 研究性能の評価を目的とする

2. 先行研究と比べてどこがすごい？

- 従来の textbook・examination 由来ベンチマークは確立済み知識を主に評価していた - FrontierMat は frontier な学術・産業研究の問題を対象とし、未解決・推論型の課題を測る点が新しい - 全問題がその分野の leading experimentalists と industry experts により検証されている - cross-scale reasoning を要する問題を明示的に含み、scale 間の推論能力を分離評価できる - 要旨からは不明：既存の materials ベンチマークとの詳細な比較設計

3. 技術・手法の肝は？

- frontier 研究から実研究を選び、隠された outcome の推論や実験証拠からの結論導出を問う形式 - 問題を functional domain、material system、支配的機構の scale で注釈付け - 130 問を cross-scale reasoning 必須として分類し、single-scale 問題と比較可能に設計 - domain-adaptation として meta-weighted continued pretraining と scale-modular self-distillation を検討 - モデル失敗の主因を『観測された事実より plausible な選択肢を支持する傾向』として分析

4. どうやって有効だと検証した？

- 全 330 問を各分野の leading experimentalists と industry experts が検証 - 最強の general-purpose model でも 53.7% にとどまることを報告 - 対応する問題群で cross-scale 問題は single-scale より 8.7 ポイント低いことを示す - 半数の問題は最大 1 モデルしか解けないことを確認 - domain-adaptation により open-weight model が 36.7% から 55.4% へ向上し、最強 proprietary model に匹敵 - 公開 materials ベンチマークで改善し、general ベンチマークの集計性能は低下しないことを確認

5. 議論はある？

- モデルは観測された事実よりも plausible な結論を支持する失敗傾向があり、frontier 推論の難しさを示す - cross-scale reasoning が性能ギャップの要因であり、scale をまたぐ推論の改善余地が議論される - domain-adaptation の有効性は示されるが、要旨からは不明：手法の一般化や限界の詳細 - 要旨からは不明：ベンチマークの分野偏りやデータ漏洩・評価バイアスに関する議論

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 関連手法として meta-weighted continued pretraining と scale-modular self-distillation を挙げる - 同分野の定番として materials 向けベンチマーク（例：LLM 材料評価ベンチマーク）や cross-scale reasoning 研究を次に読む候補とする

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Feng Chen, Jianguo Huang, Yushan Xiao, Yue Li, Bijun Tang, Xuyu Dong, Xingguo Wang, Feiyang Xie, Jianhui Gu, Dongfeng Cao, Hongda Chen, Yongji Gong, Ruiqi Li, Shuxin Li, Xingji Li, Ruitao Lv, Li Song, Lei Wang, Ye Zhang, Xiaoxu Zhao, Xitao Zheng, Bo An, Zheng Liu

分類: cs.AI

原文アブストラクト

To accelerate materials discovery, language models must be able to address problems at the research frontier. Yet textbook- and examination-derived benchmarks primarily assess established knowledge, leaving performance on frontier research problems largely untested. We introduce FrontierMat, a benchmark of 330 problems drawn from frontier academic and industrial research in fields including aerospace, semiconductors, embodied intelligence and nuclear fusion. Every problem is validated by leading experimentalists and industry experts in its field. Each problem presents a real study and asks the model to infer a withheld outcome or draw a conclusion from selected experimental evidence. Problems are annotated by functional domain, material system and the scale of the governing mechanism; 130 require cross-scale reasoning. The strongest general-purpose model scores only 53.7%, and on matched problems, cross-scale problems score 8.7 points below single-scale ones. Half of the problems are solved by at most one model, and models fail chiefly by endorsing what is plausible rather than what was observed. A domain-adaptation study with meta-weighted continued pretraining and scale-modular self-distillation raises an open-weight model from 36.7% to 55.4%, matching the strongest proprietary model, with improvements on public materials benchmarks and no decline in aggregate performance on general benchmarks. FrontierMat provides a testbed for measuring progress toward language models that support frontier materials R&D.

arXivで原文を読む →arXiv概要ページ

← 論文一覧