SACにベータ分布ポリシーを導入、暗黙的再パラメータ化勾配で学習 論文公開

何が起きたか

arXivに2024年9月8日付で掲載された論文『Soft Actor-Critic with Beta Policy via Implicit Reparameterization Gradients』は、強化学習アルゴリズムSACにベータ分布ポリシーを導入する手法を提案した。提案手法は暗黙的再パラメータ化勾配を用いてベータポリシーを学習し、シミュレーション環境でのロボット移動タスクで評価。実験の結果、ベータポリシーは正規ポリシーを上回り、SACの標準的な選択肢であるスカッシュド正規ポリシーと同等の性能を示したと報告している。コードはhttps://github.com/lucadellalib/sac-betaで公開されている。

詳細

深層強化学習は複雑なタスクで成果を上げているが、サンプル効率の低さが実世界展開の障害となっている。SACは確率論的ポリシー最適化とオフポリシー学習を組み合わせてこの問題を緩和するが、再パラメータ化トリックで勾配を計算できる分布に適用が限定される。この制約により、有界なサポートを持つベータ分布など、高次元連続制御でアクタークリティックアルゴリズムの収束率を改善することが示された分布を除外していた。 本研究では、再パラメータ化可能な分布のクラスを拡張する暗黙的再パラメータ化を利用し、ベータポリシーでSACを訓練する手法を調査。シミュレーション環境でのロボット移動タスクで、ベータポリシーが正規ポリシーを上回り、SACの標準であるスカッシュド正規ポリシーと同等の性能を示すことを実験で確認した。

Key Facts

なぜ重要か

SACは強化学習の代表的なアルゴリズムだが、再パラメータ化可能な分布に制限されていた。本研究は暗黙的再パラメータ化によりベータ分布を利用可能にし、性能を維持しつつ分布の選択肢を広げるもので、実世界の連続制御タスクへの応用に寄与する可能性がある。