トランスフォーマーは創発的な世界モデルをうまく使えない：ハノイの塔の再訪と思考の錯覚

本論文は、Tower of Hanoiパズルにおける大規模推論モデル(LRM)の性能低下の原因を、メカニスティックな解釈可能性手法を用いて分析した研究である。標準的なTower of Hanoiは解けるが、初期状態と目標状態が単一のペグに限定されないflat-to-flat変種では困難であることを示す。小規模Transformerをスクラッチで学習し、その内部表現を解析することで、モデルがパズルの状態空間(Sierpinski三角形)の幾何学的に忠実な世界モデルを獲得していることを発見する。さらに、フロンティアのLRMであるQwen3.6-27BとDeepSeek-R1-Distill-Qwen-32Bが、プロンプト終了時にはほぼ完全な世界モデルを符号化しているにもかかわらず、リング数が3を超えるとタスクの大半で失敗することを示す。その失敗の原因は、計画中の世界モデルの表現の減衰にあると特定し、推論時にプロンプト時点の表現を注入することで性能が改善することを示す。

先行研究では、LRMがTower of Hanoiのflat-to-flat変種で性能が低いことが報告されていたが、その原因は不明であった。本論文は、小規模Transformerの解釈可能性分析とLRMへの適用を組み合わせることで、モデルが世界モデルを構築しているが、それを維持できないという新たな視点を提供する。従来の研究は性能の欠如に焦点を当てていたが、本論文は表現の減衰というメカニズムを因果的に示し、性能が部分的に回復可能であることを実証した点が優れている。

手法の肝は、小規模Transformerをスクラッチで学習し、解釈可能性技術(線形プロービング、因果介入など)を用いて内部表現を分析することである。具体的には、Sierpinski三角形の座標を線形分離可能な表現としてモデルが獲得していることを示し、その表現がパズル解決に因果的に関与していることを明らかにする。さらに、LRMに対しては、プロンプト終了時と計画中の異なる段階でプロービングを行い、表現の減衰を測定する。そして、推論時にプロンプト時点の表現を注入することで、性能が改善することを示し、因果性を確立する。

有効性の検証は、小規模TransformerをTower of Hanoiの解法トレースで学習し、その性能を評価するとともに、解釈可能性手法で世界モデルの存在と因果的関与を確認した。LRMについては、Qwen3.6-27BとDeepSeek-R1-Distill-Qwen-32Bをflat-to-flat変種でテストし、リング数が3を超えると失敗することを示した。さらに、プロービングにより世界モデルの表現が計画中に減衰することを観測し、表現注入による性能改善実験で因果性を実証した。

議論として、LRMが世界モデルを構築する能力はあるが、それを維持する能力に欠けることが示された。これは、モデルの推論能力の限界ではなく、表現の維持メカニズムの問題であると解釈できる。また、表現注入による性能改善は部分的であり、完全な回復には至らないため、他の要因も関与している可能性がある。さらに、小規模TransformerとLRMの間の挙動の違いは、スケールや学習手順の違いに起因するかもしれないが、要旨からは詳細は不明である。

要旨で参照されている研究は、Tower of Hanoiの先行研究(標準的な定式化とflat-to-flat変種の性能差を報告したもの)と、解釈可能性技術(線形プロービング、因果トレーシングなど)に関する研究である。また、関連手法として、mechanistic interpretabilityの分野の研究(例えば、transformerの内部表現の分析)や、chain-of-thought推論の研究が挙げられる。具体的な論文名は要旨に明記されていないため、同分野の定番として、"Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small"や"Towards Monosemanticity: Decomposing Language Models With Dictionary Learning"などが考えられる。