TD3に逆KL正則化を導入したオフライン強化学習手法を提案

何が起きたか

2022年12月5日にarXivに公開された論文「TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets」において、複数の行動ポリシーから収集されたデータセットを用いるオフライン強化学習の新手法が提案された。この手法は、TD3アルゴリズムに基づき、逆Kullback-Leibler（KL）ダイバージェンスを行動クローニング（BC）正則化として適応的に重み付けして用いる。実験では、標準的なD4RLデータセットと、それらを組み合わせた混合データセットの両方で、既存のオフライン強化学習アルゴリズムを上回る性能を達成したと報告されている。

詳細

オフライン強化学習では、エージェントは複数の行動ポリシーをロールアウトして収集されたデータセットから学習する必要がある。この設定には2つの課題がある。1つ目は、異なる行動ポリシーによる行動カバレッジの変動により、強化学習シグナルと行動クローニング（BC）シグナルの最適なトレードオフが状態ごとに異なることである。従来手法はグローバルなトレードオフのみを制御するため、この課題に対処できなかった。2つ目は、特定の状態において、異なる行動ポリシーによって生成される行動分布が複数のモードを持つ可能性があることである。多くの従来手法のBC正則化は平均探索的であり、モードの中間にある分布外（OOD）行動を選択するポリシーを生じさせる。 提案手法は、TD3アルゴリズムに基づき、逆KLダイバージェンスをBC正則化として用いる。逆KLはモード探索的性質を持つため、OOD行動の選択を回避できる。さらに、状態ごとの重み付けにより、行動カバレッジが狭い状態では強いBC正則化を、広い状態では弱いBC正則化を適用する。実験では、MuJoCo locomotionタスクにおいて、標準的なD4RLデータセットと混合データセットの両方で既存のオフライン強化学習アルゴリズムを上回る性能を示した。

Key Facts

なぜ重要か

この研究は、複数の行動ポリシーから収集された混合データセットという実用的な設定におけるオフライン強化学習の課題に対処するものである。状態ごとの適応的な正則化とOOD行動の回避により、より堅牢で高性能な学習を可能にする可能性がある。