Trust Region Policy Optimization

本論文は、強化学習における方策勾配法の安定性とサンプル効率を大幅に改善するアルゴリズム、Trust Region Policy Optimization (TRPO) を提案した。従来の方策勾配法は、更新幅が大きすぎると性能が急激に悪化する問題があった。TRPOは、方策の更新を制約付き最適化問題として定式化し、新旧方策のKLダイバージェンスに上限を設けることで、更新を安全に保ちながら単調に性能を改善することを目指した。具体的には、各更新ステップで、期待割引報酬の下界を最大化するように方策パラメータを更新する。この下界は、現在の方策の性能と、KLダイバージェンスのペナルティ項から構成され、理論的に性能の単調改善が保証される。実装上は、自然勾配法を用いて制約を満たす更新方向を計算し、線形探索でステップサイズを調整する。これにより、ニューラルネットワークのような高次元パラメータ空間でも安定した学習が可能となった。TRPO以前は、方策勾配法の学習率の調整が難しく、小さすぎると学習が遅く、大きすぎると発散するというジレンマがあった。TRPOは、この問題を理論的根拠に基づいて解決し、ロボット制御や連続制御タスクで高い性能を達成した。フィジカルAIへの影響は計り知れない。TRPOは、ロボットの運動制御や操作タスクにおける強化学習の実用性を飛躍的に高め、その後のPPOやSACなどの発展の基盤となった。特に、ロボット基盤モデルや視覚言語行動モデル(VLA)の学習において、安全で効率的な方策更新は不可欠であり、TRPOの考え方は、これらの大規模モデルの微調整やオンライン適応にも応用されている。また、TRPOの制約付き最適化の枠組みは、安全制約を明示的に扱う制御問題への拡張も可能にし、実ロボットへの展開における安全性確保の重要な手法となっている。さらに、TRPOの理論的保証は、強化学習の信頼性を高め、シミュレーションから実機への転移や、実環境での学習におけるリスクを低減する上で重要な役割を果たしている。このように、TRPOは強化学習の基礎を築き、フィジカルAIの実現に向けた重要な一歩となった。