何が起きたか
2023年6月6日付でarXivに投稿された論文「Mildly Constrained Evaluation Policy for Offline Reinforcement Learning」において、オフライン強化学習の新手法MCEPが提案された。MCEPは、テスト時の推論に用いる評価ポリシーを緩やかに制約し、価値推定にはより強い制約を持つターゲットポリシーを用いる。著者らはTD3BC、AWAC、DQLに基づくMCEPを実装し、D4RL MuJoCo locomotion、高次元ヒューマノイド、16のロボット操作タスクで評価した。コードはGitHubで公開されている。
詳細
オフライン強化学習では、行動ポリシーに厳密に従うようポリシーに制約を課すことで、価値学習を安定化し、テスト時のOOD（分布外）行動の選択を防ぐ。従来手法は価値学習とテスト時の推論に同一の制約を適用していたが、著者らは価値推定に適した制約がテスト時の行動選択には過度に制限的であることを指摘する。MCEPはこの問題に対処するため、テスト時の推論には緩やかな制約の評価ポリシーを、価値推定にはより制約の強いターゲットポリシーを用いる。ターゲットポリシーは多くの既存手法で採用されているため、MCEPはプラグインとして既存手法に統合可能である。実験では、D4RL MuJoCo locomotion、高次元ヒューマノイド、16のロボット操作タスクにおいて、MCEPが古典的なオフラインRL手法に有意な性能向上をもたらし、SOTA手法もさらに改善したと報告されている。
Key Facts
| MCEPはarXivで2023年6月6日に公開された論文で提案された。 | [1] |
| MCEPはテスト時の推論に緩やかな制約の評価ポリシーを用い、価値推定にはより制約の強いターゲットポリシーを用いる。 | [1] |
| MCEPはTD3BC、AWAC、DQLに基づいて実装された。 | [1] |
| 評価はD4RL MuJoCo locomotion、高次元ヒューマノイド、16のロボット操作タスクで行われた。 | [1] |
| 実験結果は、MCEPが古典的なオフラインRL手法に有意な性能向上をもたらし、SOTA手法もさらに改善したと報告されている。 | [1] |
| コードはGitHubで公開されている。 | [1] |
なぜ重要か
オフライン強化学習は実データから方策を学習する手法として注目されており、MCEPは価値学習とテスト時の制約を分離する新たな視点を提供する。既存手法にプラグインとして統合できるため、実用上の応用範囲が広い可能性がある。