拡散行動モデルを用いたオフライン強化学習の新手法、行動サンプリング速度を25倍以上に高速化

何が起きたか

2023年10月11日にarXivに公開された論文「Score Regularized Policy Optimization through Diffusion Behavior」において、オフライン強化学習のための新手法が提案された。この手法は、拡散モデルの生成能力を活用しつつ、拡散サンプリングの計算コストを回避する。具体的には、批評家モデルと事前学習済みの拡散行動モデルから効率的な決定論的推論ポリシーを抽出し、最適化中に行動分布のスコア関数でポリシー勾配を直接正則化する。D4RLタスクでの広範な実験により、移動タスクにおいて様々な主要な拡散ベース手法と比較して行動サンプリング速度を25倍以上高速化し、最先端の性能を維持することを示した。

詳細

オフライン強化学習では、異種の行動ポリシーを表現する拡散モデルの可能性が近年注目されているが、拡散ポリシーからのサンプリングは1つの行動に対して数十から数百の反復推論ステップを必要とするため、非常に遅いという問題があった。提案手法は、この問題に対処するため、拡散モデルの強力な生成能力を享受しながら、トレーニングと評価の両方で計算集約的で時間のかかる拡散サンプリングスキームを完全に回避する。 この手法は、批評家モデルと事前学習済みの拡散行動モデルを利用し、後者を用いて行動分布のスコア関数でポリシー勾配を直接正則化する。これにより、決定論的で効率的な推論ポリシーを抽出できる。D4RLベンチマークでの実験結果は、移動タスクにおいて、様々な主要な拡散ベース手法と比較して行動サンプリング速度を25倍以上向上させ、同時に最先端の性能を維持することを示している。

Key Facts

なぜ重要か

この研究は、拡散モデルの強力な生成能力を保ちながら、実用的な推論速度を実現する点で重要である。オフライン強化学習の実世界応用において、推論の遅さは大きな障壁であり、この手法はその問題を解決する可能性を示している。