世界モデルは何回の経験で未知のゲームルールを学べるか

- ARC-AGI-3 のインタラクティブゲームを対象に、world model が未知環境の mechanics を予測できるようになるまでに何回の exposure(mechanic の観測1回)が必要かを問う研究。 - ベンチマーク MechEval を導入: 20 ゲームのプログラムから 69 個の反復出現する mechanics にラベル付けし、各 exposure で mechanic が変化させるセル上の予測を採点。 - テストベッドとして WARC(35M パラメータの vision transformer)を構築。他ゲームで pretrain し、各 transition 後に全パラメータを更新する。

- 従来の world model 研究は既知環境での計画・想像経験からの学習が中心で、未知環境の mechanics を限られた interaction から学ぶ能力を定量化していない。 - 本研究は『何回の exposure で新 mechanics を予測できるか』という問いを MechEval で測定可能にした点が新しい。 - 更新なしでは 7 個に 1 個の mechanic しか目標精度に達しないのに対し、WARC は test-time training により大幅に改善することを示す。

- MechEval: ゲームプログラムに基づき 69 の recurring mechanics をラベル化し、mechanic が変化させるセルに限定して予測精度を評価。 - WARC: 他ゲームで pretrain した 35M パラメータの vision transformer。各 transition 後に全パラメータを更新する test-time training を行う。 - WARC-Agent: WARC と固定の graph explorer を組み合わせ、closed-loop play で計画・探索を行う。

- held-out games 上で、WARC は 5 個中 4 個の mechanics を変化セル上 80% 以上の精度で予測し、記録終了まで精度を維持。 - その半数は約 80 exposures(ゲーム1プレイ内)で目標精度に到達。更新なしでは 7 個に 1 個のみ。 - 公開ゲームの closed-loop play で WARC-Agent は explorer の公式 efficiency score を 0.15 から 0.46 へ約3倍に改善(主に test-time training による)。 - Kaggle リーダーボードの hidden games では 0.20 を記録。

- 約 80 exposures という少ない観測で多くの mechanics を学習できる一方、全 mechanics の学習には至らない点が議論の余地。 - 改善の主因が test-time training であることが示唆されるが、graph explorer など他要素の寄与の詳細は要旨からは不明。 - hidden games でのスコア 0.20 は公開ゲームでの改善ほど高くなく、汎化や評価設定の違いに関する議論が必要。

- ARC-AGI-3 のベンチマーク論文およびそのゲームプログラム定義。 - vision transformer を用いた world model 研究(例: Dreamer 系、transformer-based world model)。 - test-time training / test-time adaptation に関する研究。 - graph explorer など探索手法の研究。 - MechEval の詳細や関連する mechanic 学習の評価手法。