オフライン強化学習の新手法、正規化フローによる潜在行動空間で保守的エージェントを訓練

何が起きたか

arXivに2022年11月20日付で掲載された論文『Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows』において、研究チームはオフライン強化学習の新手法を提案した。この手法は、正規化フローの一種を用いて生成モデルを構築し、それを保守的アクションエンコーダとして使用する。エンコーダはオフラインデータセットで教師あり学習により事前学習され、その後、潜在空間内のコントローラ（追加のポリシーモデル）が強化学習で訓練される。

詳細

オフライン強化学習では、事前に記録された固定データセットのみを用いてポリシーを訓練するが、訓練データで十分にカバーされていない状態行動対の価値を近似する際の外挿誤差と、行動ポリシーと推論ポリシー間の分布シフトという2つの主要な課題がある。これらの問題に対処するため、学習ポリシーを行動ポリシーに近づける保守性を導入するアプローチが有効とされる。 本研究では、潜在行動空間でポリシーを学習する最近の研究を基盤とし、正規化フローの特殊な形式を用いて生成モデルを構築する。この正規化フローアクションエンコーダは、オフラインデータセット上で教師あり学習により事前学習され、その後、潜在空間内のコントローラが強化学習で訓練される。このアプローチにより、訓練データセット外の行動をクエリすることを回避し、データセット外の行動に対する追加の正則化を不要とする。 評価は様々な移動・ナビゲーションタスクで行われ、提案手法は生成行動モデルを用いた最近のアルゴリズム群を、多くのデータセットで上回る性能を示したと報告されている。

Key Facts

なぜ重要か

オフライン強化学習は実環境とのインタラクションを必要としないため、安全で効率的な学習が可能となる。本手法は外挿誤差と分布シフトという主要な課題に対して、正規化フローによる保守的な行動生成で対処し、追加の正則化を不要とする点で、実用性と性能の両面で貢献する。