オフライン強化学習に推論時ポリシー最適化を導入 微分可能な世界モデルで性能向上

何が起きたか

arxiv.orgに掲載された論文で、オフライン強化学習における推論時ポリシー最適化（ITPO）を提案した。この手法は、事前学習済みポリシーと学習済み世界モデルを組み合わせ、推論時にポリシーパラメータを最適化する。D4RLの連続制御ベンチマーク（MuJoCo locomotionタスクとAntMaze）で評価し、強力なオフラインRLベースラインに対して一貫した改善を示した。

詳細

提案手法は、微分可能な世界モデル（DWM）パイプラインを用いて、想像上のロールアウトを通じてエンドツーエンドの勾配計算を可能にする。既存の世界モデルや拡散プランニング手法は、学習中に想像上の軌道を生成するか、推論時に候補プランをサンプリングするが、推論時の情報を使ってポリシーパラメータを最適化することはなかった。本研究では、推論時の情報を活用してポリシーパラメータを最適化することで、性能向上を実現した。ただし、推論時適応は計算コストが高く、ロールアウト生成と逆伝播が1ステップあたりの計算を支配する。このトレードオフを明示的に研究し、適切に調整されたワンステップMeanFlowサンプラーが、コストの一部で利得の多くを回復することを示した。

Key Facts

なぜ重要か

オフライン強化学習は、実データから安全にポリシーを学習できる一方、推論時の適応が課題だった。本手法は、推論時にポリシーを最適化することで性能を向上させる可能性を示し、実世界での応用に向けた一歩となる。計算コストの課題は残るが、効率的な近似手法の提案により、実用化への道筋が開かれるとみられる。