制約認識強化学習の新手法、Safety Gymで制約違反を最大126倍削減

何が起きたか

2025年10月13日にarXivで公開された論文(識別番号2510.11491v3)において、研究チームは制約認識強化学習の新手法を提案した。この手法は、予測された制約違反に基づいてエージェントの行動をスケーリングするモジュール型コスト認識レギュレータを導入する。Safety Gymのロコモーションタスクにおけるスパースコスト設定で、従来手法と比較して制約違反を最大126倍削減し、報酬を1桁以上増加させたとしている。

詳細

既存の安全強化学習アプローチは、報酬と安全性を同時に最適化する単一のポリシーに依存することが多く、目的の対立による不安定性を引き起こす可能性がある。また、外部の安全フィルタを使用する手法は、行動を上書きし、事前のシステム知識を必要とする。提案手法は、ポリシーを上書きするのではなく、滑らかな行動変調を通じて探索を維持する。レギュレータは、行動の退化を避けつつ制約違反を最小化するように訓練される。このアプローチは、SACやTD3などのオフポリシー強化学習手法とシームレスに統合でき、Safety Gymのロコモーションタスクで最先端のリターン対コスト比を達成したと報告されている。

Key Facts

なぜ重要か

この研究は、安全強化学習における制約違反とタスク性能のトレードオフを改善する新しいアプローチを示している。行動を上書きするのではなく滑らかに変調することで、探索を維持しつつ安全性を向上できる可能性がある。