オフライン強化学習における構造的非定常性を扱う新手法を提案

何が起きたか

arXivに2024年5月23日付で公開された論文(識別番号2405.14114v2)において、著者らはオフライン強化学習の新たな問題設定を提案した。この設定では、データセット収集中に遷移関数と報酬関数がエピソード間で徐々に変化するが、各エピソード内では一定である。提案手法は対照予測符号化(Contrastive Predictive Coding)を用いて非定常性を識別し、ポリシー学習に組み込み、評価時に予測する。実験では、単純な連続制御タスクと高次元の移動タスクで、オラクル性能に達することが多く、ベースラインを上回ったと報告している。

詳細

従来の強化学習は、成功するポリシーを学習するために大量のデータを必要とすることが多い。オフライン強化学習は、異なる行動ポリシーによって収集された遷移データを用いることで、この問題を解決しようとする。本研究は、データセット収集中に環境が非定常に変化するという、これまで扱われてこなかった設定に焦点を当てている。 提案手法は、対照予測符号化を用いて非定常性を表現し、ポリシー学習時にそれを考慮する。評価時には、学習した表現を用いて将来の非定常性を予測する。著者らは、提案手法が単純な連続制御タスクと高次元の移動タスクで有効であることを示し、しばしばオラクル性能を達成し、ベースラインよりも優れた性能を発揮したと述べている。

Key Facts

なぜ重要か

この研究は、オフライン強化学習における非定常環境という実用的だが未解決の問題に取り組むものである。提案手法は、非定常性を明示的にモデル化することで、動的な環境でも堅牢なポリシー学習を可能にする可能性がある。