Transformerに物理法則発見の帰納バイアス、研究チームが発表

何が起きたか

研究チームは、Transformerが物理法則を学習できることを示す論文を発表した。従来のTransformerは予測精度は高いものの物理法則を獲得できないとされていたが、空間的滑らかさ、安定性、時間的局所性という3つの帰納バイアスを導入することで、ケプラー的な世界モデルを学習し、惑星軌道に楕円を適合させることに成功した。さらに、時間的局所性を加えることで、曲線適合を放棄し、ニュートン力学的な表現を発見したとしている。

詳細

論文はarxiv.orgに2026年2月6日に公開された。研究チームは、汎用AIアーキテクチャであるTransformerに、最小限の帰納バイアスを体系的に導入した。具体的には、予測を連続回帰として定式化することで空間的滑らかさを確保し、ノイズを含むコンテキストで訓練することで誤差蓄積を緩和し安定性を確保した。これにより、Transformerは従来の失敗を克服し、ケプラー的な世界モデルを学習できた。さらに、注意ウィンドウを直近の過去に制限する時間的局所性を導入することで、モデルは曲線適合を放棄し、ニュートン力学的な力の表現を発見したとしている。

Key Facts

本紙の見方

今回の研究は、AIによる科学的発見の可能性を大きく広げるものだ。従来の「AI物理学者」アプローチは、ドメイン固有の強い事前知識を必要とし、物理を「焼き込む」ことで法則を回復していた。一方、Vafaらによる最近の研究では、汎用Transformerは高い予測精度を達成するものの、物理法則を獲得できないことが示されていた。今回の研究は、その間を埋めるもので、最小限の帰納バイアスを導入するだけで、Transformerが物理法則を学習できることを実証した。 特に注目すべきは、時間的局所性のバイアスが、モデルを「曲線適合者」から「物理学者」へと変える決定的な役割を果たした点だ。これは、アーキテクチャの選択が、AIが単なるパターン認識に留まるか、因果的な世界モデルを獲得するかを左右することを示唆している。 この成果は、AIによる自動科学発見の分野に新たな道を開く。従来の手法がドメイン知識に依存していたのに対し、今回のアプローチは汎用アーキテクチャにわずかなバイアスを加えるだけでよいため、物理学以外の分野にも応用可能かもしれない。ただし、今回の実験は惑星軌道という比較的単純な系に限定されており、より複雑な物理系への適用可能性は未検証だ。 また、帰納バイアスの設計がどの程度「最小限」であるかは議論の余地がある。空間的滑らかさや時間的局所性は、物理法則の性質を暗に反映しているとも解釈でき、完全にバイアスフリーな学習とは言えない。それでも、この研究は、AIがデータから物理法則を発見するための具体的な指針を示した点で意義深い。 今後の焦点は、このアプローチがより高次元の物理系や、ノイズの多い実世界データにどの程度スケールするかだろう。また、学習された世界モデルが、未知の状況に対する予測や、新しい物理法則の発見にどの程度汎化するかも重要な論点だ。

なぜ重要か

この研究は、AIが単なる予測ツールから、科学法則を自律的に発見する「科学者」へと進化する可能性を示している。もし汎用アーキテクチャにわずかな帰納バイアスを加えるだけで物理法則を学習できるなら、AIは物理学に限らず、生物学や経済学など、複雑な動的システムの理解にも貢献できるかもしれない。