全列挙可能なTransformer：遅延汎化科学のための計測器

完全に列挙可能なタスク上で訓練された極小の transformer を、grokking（遅延汎化）研究のための「科学計測器」として位置づける論文。 - 全入力の評価、汎化上限の厳密計算、数百 seed の低コスト実行が可能な regime を提案。 - この regime が近似設定では得られない 4 つの能力を持つと主張。 - 厳密で反証可能な汎化上限 - 他を証明可能に固定しつつ 1 つの構造変数を操作する task surgery - 全 weight の直接観測 - 多数 seed の survival-time 統計により「grok しない」を censored observation として扱う - 事前登録した conservation 研究で、12K で確立した 3 つの task-side law を 12K/1M/50M（4,000x スパン、360 runs + 44-run control）で再測定。

近似設定の grokking 研究と比べ、完全列挙可能 regime は厳密な汎化上限・task surgery・全 weight 観測・survival-time 統計を可能にする点が異なる。 - 「10^4 パラメータで得た法則はそれ以上で意味を持たない」という反論に対し、事前登録の conservation 研究で応答。 - 12K で確立した recoverability-ceiling law と role-conflict delay law は 12K/1M/50M で保存（ceiling 違反 0/144 Holm-corrected、各スケールで Spearman rho >= 0.75、permutation p < 1e-4）。 - weight-decay response law はスケールとともに系統的に変形（steepening）。 - 50M の role-conflict deficit は learning-rate 調整と 3 倍 budget でも残存（事前登録 control）。 - 基準はデータ収集前に凍結され、1 つの law の変形により…

完全列挙可能な tiny transformer を model organism として用いる。 - 全入力評価により厳密な汎化上限を計算。 - task surgery で 1 つの構造変数のみを操作し他を証明可能に固定。 - 全 weight を直接観測。 - 多数 seed の survival-time 統計で「grok しない」を censored observation として扱う。 - 事前登録した from-scratch protocol で 12K/1M/50M の 3 スケール（4,000x スパン）を比較。 - 3 つの task-side law（recoverability-ceiling law、role-conflict delay law、weight-decay response law）を再測定。 - Holm-corrected 検定、Spearman rho、permutation p 値、control arm を用いる。

事前登録した conservation 研究で検証。 - 12K で確立した 3 law を 12K/1M/50M で同一 from-scratch protocol により再測定（360 runs + 44-run control arm）。 - ceiling law と delay law は保存：ceiling 違反 0/144（Holm-corrected）、各スケールで Spearman rho >= 0.75、permutation p < 1e-4。 - weight-decay law はスケールとともに系統的に変形（steepening）。 - 50M の role-conflict deficit は learning-rate 調整と 3 倍 budget でも残存（事前登録 control）。 - 基準はデータ収集前に凍結され、1 law の変形によりテストが失敗し得たことを示す。

「10^4 パラメータで特徴づけた法則はそれ以上で意味を持つか」という反論が想定されている。 - 事前登録 conservation 研究により、ceiling law と delay law は 4,000x スパンで保存されるが、weight-decay law は変形することを示す。 - 変形自体も lawful かつ measurable であると主張。 - 完全列挙可能 transformer を delayed generalization の task-side law の model organism として正当化。 - 限界や未解決点の詳細は要旨からは不明。

要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として grokking、delayed generalization、transformer の scaling law、weight decay、learning rate scheduling に関する研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。