世界モデルによる自動研究エージェントのスケーリング

本論文は、自動研究（AutoResearch）エージェントの強化学習（RL）におけるスケーリングの課題を解決するため、World Model RL (WMRL) を提案する。AutoResearchエージェントは、LLMがコード実装と実行結果からの学習を自律的に行うことで、実証研究を自動化する。しかし、RLによるpost-trainingでは、エージェントの生成（generation）と環境実行（execution）のスケーリング特性が異なり、実行が計算ボトルネックとなる。WMRLは、環境実行をworld modelで置き換えることでこのボトルネックを解消し、さらにOnline DebiasingとInverse-Variance Denoisingという2つの緩和策を導入して、world modelの不完全性（バイアスとノイズ）に対処する。

従来のAutoResearchエージェントのRLは、実環境での実行を必要とし、そのコストが訓練の支配的要因となっていた。WMRLは、world modelを用いて実行をシミュレートすることで、このボトルネックを除去し、訓練を3〜4倍高速化する。さらに、world modelの不完全性を理論的・実証的に扱う点が新しい。従来のmodel-based RLはあるが、AutoResearchエージェントのpost-trainingに特化し、バイアスとノイズの両方を緩和する手法を提案し、その収束保証を理論的に示している点が優れている。

WMRLの核心は、環境実行をworld modelに置き換えることである。world modelは不完全であり、その報酬はバイアスとノイズを含むため、Online Debiasing（バイアスを相殺）とInverse-Variance Denoising（ノイズを抑制）を導入する。理論的には、これらの緩和策がWMRLの収束保証を厳密に改善することを証明する。具体的なアルゴリズムの詳細は要旨からは不明だが、world modelを学習し、RLの報酬として使用する枠組みと推測される。

実験では、様々なタスクとエージェントスケールでWMRLを評価し、標準RLベースラインと比較して訓練を3〜4倍高速化し、性能も上回ることを示した。また、post-trainingされた4Bおよび9Bエージェントが、より大きなオープンウェイトエージェント（48Bおよび120B）をheld-outベンチマークで凌駕した。さらに、AutoResearch以外のembodied VLAポリシーのpost-trainingにもWMRLが適用可能であることを示し、一般性を実証した。

要旨からは、world modelの学習方法や、その精度が最終性能に与える影響についての詳細な議論は不明である。また、WMRLがAutoResearchエージェントの探索の質に与える影響や、実環境との乖離によるリスクについても言及がない。理論的な収束保証は示されているが、実際のタスクでの性能との関連性についてはさらなる考察が必要かもしれない。

要旨で参照されている関連研究は明示されていないが、AutoResearchエージェントのRLに関する研究や、model-based RL、world modelを用いた手法（例えば、DreamerやMuZeroなど）が関連する。また、LLMエージェントのpost-trainingに関する一般的な研究も挙げられる。具体的には、RL for LLM agentsや、world model learningの手法を探すとよい。