世界モデルの時間情報を報酬化する手法、強化学習の性能を2.2倍に向上

何が起きたか

2026年4月22日にarXivで公開された論文で、世界モデルから抽出した時間情報を報酬関数に変換する手法「Occupancy Reward Shaping (ORS)」が発表された。ORSはスパース報酬環境でのクレジット割り当て問題を緩和し、13の多様な長期的タスクで性能を2.2倍に向上させたと報告している。また、核融合炉の制御タスク3件で実世界での有効性を示した。

詳細

論文は、行動と長期的結果の時間的ずれがクレジット割り当てを困難にすると指摘する。生成的世界モデルはエージェントが訪れる未来状態の分布を捉えるため、時間情報を含むとされる。本研究では、最適輸送を用いて世界モデルの占有測度から幾何学的情報を抽出し、目標到達情報を含む報酬関数を構築する。提案手法ORSは、スパース報酬設定でのクレジット割り当て問題を大幅に緩和し、最適方策を変えないことが証明されている。実験では、13の長期的な移動・操作タスクで性能を2.2倍に向上させた。さらに、実世界での核融合制御タスク3件で有効性を示した。コードとウェブサイトが公開されている。

Key Facts

なぜ重要か

この研究は、強化学習における報酬設計の新しいパラダイムを示すものであり、スパース報酬環境での学習効率を大幅に改善する可能性を秘めている。特に、実世界の複雑な制御問題への応用が期待され、ロボティクスや産業制御など幅広い分野に影響を与えるだろう。