何が起きたか
2023年11月15日にarXivで公開された論文「Supported Trust Region Optimization for Offline Reinforcement Learning」において、オフライン強化学習の新手法「Supported Trust Region optimization (STR)」が提案された。STRは、行動ポリシーのサポート内にポリシーを制約する信頼領域ポリシー最適化を行い、従来の密度ベースの制約よりも制限が緩いとされる。論文では、近似誤差やサンプリング誤差がない場合、STRが最適なサポート制約付きポリシーへの収束まで厳密なポリシー改善を保証するとし、誤差が含まれる場合でも各ステップで安全なポリシー改善を保証すると述べている。実験では、MuJoCo locomotionドメインとAntMazeドメインで最先端の性能を示したとしている。
詳細
オフライン強化学習では、学習中に環境と相互作用せず固定データセットを用いるため、分布外の状態行動ペアに対する外挿誤差が問題となる。従来のポリシー制約手法は、学習ポリシーの密度を行動ポリシーに正則化することが多く、過度に制限的であると論文は指摘する。STRは、ポリシーのサポート（密度が正の領域）を行動ポリシーのサポート内に制約することで、より緩い制約を実現する。理論的には、近似誤差とサンプリング誤差がない場合、STRはデータセット内の最適なサポート制約付きポリシーに収束するまで厳密なポリシー改善を保証する。また、両方の誤差を考慮した場合でも、各ステップで安全なポリシー改善が保証されるとしている。実験では、MuJoCo locomotionドメインと、より困難なAntMazeドメインで、STRの理論を検証し、最先端の性能を示したと報告している。
Key Facts
| 論文「Supported Trust Region Optimization for Offline Reinforcement Learning」がarXivで公開された（2023年11月15日）。 | [1] |
| STRは、行動ポリシーのサポート内にポリシーを制約する信頼領域ポリシー最適化を提案している。 | [1] |
| 従来のポリシー制約手法は、学習ポリシーの密度を行動ポリシーに正則化しており、過度に制限的であると論文は指摘する。 | [1] |
| 近似誤差とサンプリング誤差がない場合、STRは最適なサポート制約付きポリシーへの収束まで厳密なポリシー改善を保証する。 | [1] |
| 近似誤差とサンプリング誤差の両方が含まれる場合でも、STRは各ステップで安全なポリシー改善を保証する。 | [1] |
| 実験では、MuJoCo locomotionドメインとAntMazeドメインでSTRの理論を検証し、最先端の性能を示したとしている。 | [1] |
なぜ重要か
オフライン強化学習は実データから安全にポリシーを学習する手法として注目されているが、分布外問題が実用化の障壁となっている。STRはサポート制約という緩い制約で理論的保証を提供し、実験でも高い性能を示したことから、オフライン強化学習の実用性向上に寄与する可能性がある。