機械学習実験の結果を予測する学習済みワールドモデルMLE-World

- MLE-World は、AI research agent が提案する ML プログラムの最終出力を、実行せずに予測する world model。 - Qwen3.5-4B から finetune されたモデル。 - 入力はプログラムの code と data description。 - 出力は terminal output（error traces、training logs、validation scores）と、予測の正しさを表す confidence score。 - 予測は 1 回の inference call で済むため、agent の test time scaling (TTS) を低コスト化する。 - MLE-World に導かれる 5 つの TTS ポリシーも提案。

- 従来の AI research agent は候補プログラムごとに実際の training と evaluation が必要で、探索できる候補数が制限されていた。 - MLE-World は実行なしで terminal output を予測し、TTS を安価にする点が新しい。 - 予測精度では、はるかに大規模な prompted models の 41.1% に対し、MLE-World は 77.9% で一致。 - MLE-World -guided TTS は、world model なしの agent より観測平均性能が最大 22.1% 高く、実実行も少ない。

- Qwen3.5-4B を finetune し、code と data description から terminal output を予測する world model を構築。 - 予測とともに confidence score を出力し、予測の正しさを推定。 - この confidence を用い、低い場合のみ候補を実際に実行する仕組み。 - 5 つの TTS ポリシー: Sequential revision、Best-of-N、Pairwise judging、Fusion、confidence による exploration bonus を加える UCB style rule。

- 17 の MLE-bench Lite タスクで評価。 - held out programs における terminal output 一致率は 77.9%（比較の大規模 prompted models は 41.1%）。 - MLE-World guided TTS が、world model なしの agent より観測平均性能を最大 22.1% 向上させ、実実行を削減することを確認。

- 予測は誤り得るため、confidence score が低い候補のみ実実行する設計。 - 予測コストが 1 inference call である点が TTS の実用性を支える。 - 具体的な失敗事例や限界、計算コストの詳細は要旨からは不明。

- 比較対象として言及される大規模 prompted models（具体名は要旨からは不明）。 - 関連手法として MLE-bench / MLE-bench Lite、Qwen3.5-4B、Best-of-N、UCB style exploration などの定番手法。 - AI research agent や world model を用いた test time scaling の関連研究。