DreamerV3に勾配ペナルティ正則化を追加するGPLD、サンプル効率を改善

何が起きたか

研究チームは、モデルベース強化学習の世界モデルDreamerV3に局所的な滑らかさを明示的に促す正則化手法GPLDを提案した。GPLDは潜在遷移ダイナミクスにヤコビアンペナルティを適用し、連続制御タスクでサンプル効率を改善した。特に高複雑度の移動タスクで効果が顕著だった。

詳細

GPLDは、DreamerV3の潜在遷移ダイナミクスに局所的な滑らかさを明示的に促す正則化手法である。具体的には、後続の潜在分布に対する行方向のヤコビアンペナルティを適用し、局所的に滑らかな遷移学習を促進する。このペナルティは、離散埋め込み状態MDPにおける遷移則の有限差分平滑化の連続潜在版と解釈でき、Hutchinsonスタイルの確率的プローブを用いて効率的に推定される。実験では、DeepMind Controlの固有受容タスクにおいて、GPLDは総合的なサンプル効率を改善し、特に高複雑度の移動環境で顕著な向上が見られた。より困難な四足歩行タスクでは、GPLDは高リターンの行動を早期に達成し、長期的な学習の一貫性も向上した。コードはgithub.com/romils9/gpld-mbrlで公開されている。

Key Facts

なぜ重要か

モデルベース強化学習のサンプル効率改善は、実世界での応用に不可欠であり、GPLDはそのための簡潔で効果的な手法を提供する。特に高複雑度のタスクでの性能向上は、実用的なロボット制御への道を開く可能性がある。