Curiosity-Critic、累積予測誤差に基づく好奇心報酬を提案 世界モデル学習を高速化

何が起きたか

2026年4月20日にarXivで公開された論文「Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training」が、世界モデル学習のための新しい内的報酬設計を提案した。提案手法は、累積予測誤差の改善を基盤とし、各遷移の予測誤差と漸近誤差ベースラインの差を代理報酬として用いる。実験では、確率的グリッドワールド環境で、予測誤差法、訪問回数法、ランダムネットワーク蒸留法と比較し、学習速度と最終的な世界モデル精度で優れると報告している。

詳細

論文は、局所的な予測誤差に基づく好奇心報酬が、現在の遷移のみに注目し、訪問済み遷移全体での累積予測誤差を考慮しない問題を指摘する。提案するCuriosity-Criticは、この累積目的の改善に基づく内的報酬を導入し、計算可能な1ステップ代理報酬として、現在の予測誤差と現在の状態遷移の漸近誤差ベースラインの差を用いる。このベースラインは、世界モデルと同時に学習される批評家によってオンラインで推定される。批評家は遷移の予測困難度のみを学習するため、その推定は世界モデルが飽和する前に収束し、学習可能な遷移への探索を促進する。報酬は学習可能な遷移で高く、確率的遷移ではゼロに近づき、認識論的誤差と偶発的誤差をオンラインで分離する。従来の予測誤差好奇心の定式化（Schmidhuber 1991から学習特徴空間の変種まで）は、この誤差ベースラインの特定の近似として特殊ケースに該当する。実験は確率的グリッドワールドで行われ、予測誤差法、訪問回数法、ランダムネットワーク蒸留法と比較して、学習速度と最終精度で優れるとしている。

Key Facts

本紙の見方

今回の提案は、強化学習における内的報酬設計の一分野である好奇心駆動探索に新たな視点を加えるものだ。従来の予測誤差に基づく好奇心報酬は、現在の遷移の予測誤差のみを報酬として用いるため、世界モデル全体の累積誤差を考慮せず、学習可能な遷移と本質的に予測不能な遷移（確率的遷移）を区別できない問題があった。Curiosity-Criticは、累積予測誤差の改善という目的を導入し、その代理として現在の予測誤差と漸近誤差ベースラインの差を用いることで、この問題を解決しようとする。このアプローチは、認識論的誤差（学習で削減可能）と偶発的誤差（本質的に不確実）をオンラインで分離する点で、従来の手法より理論的に洗練されている。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及はできないが、強化学習における探索と世界モデル学習の進展という文脈では、モデルベース強化学習の効率化に寄与する可能性がある。特に、世界モデルの精度向上は、シミュレーション内での計画やポリシー学習の効率に直結するため、ロボット制御や自動運転などの分野での応用が期待される。 業界構造への含意としては、この手法が実用化されれば、世界モデル学習のサンプル効率が向上し、実環境での試行錯誤を減らすことができる。これにより、強化学習の適用範囲が広がる可能性がある。一方で、批評家の学習が追加で必要となるため、計算コストの増加が懸念される。また、実験は確率的グリッドワールドに限定されており、より複雑な環境での有効性は未確認である。 未確定の論点としては、実世界の高次元状態空間でのスケーラビリティ、批評家の収束性、ハイパーパラメータの感度などが挙げられる。今後の研究では、より複雑なベンチマークでの評価や、他の好奇心報酬との組み合わせが焦点になるだろう。

なぜ重要か

この研究は、世界モデル学習における探索の効率化に寄与する可能性があり、強化学習の実用化に向けた一歩となる。特に、確率的環境での学習安定性を向上させることで、実世界の不確実性を扱う応用への道を開く。