Pb-PPO：動的クリッピング境界を備えた新しいPPOアルゴリズムを提案

何が起きたか

arXivに2023年12月12日付で公開された論文（識別番号2312.07624v3）において、研究チームはPreference based Proximal Policy Optimization（Pb-PPO）と名付けた新しい強化学習アルゴリズムを提案した。Pb-PPOは、従来のPPOが固定したクリッピング境界を用いるのに対し、多腕バンディット手法を利用して報酬を最大化するクリッピング境界を動的に選択する。実験はGym-Mujoco、legged-gym、およびカスタムのナビゲーションタスクで実施され、Pb-PPOは固定クリッピング境界のPPOやその変種よりも優れた訓練性能を示したと報告されている。コードはhttps://github.com/stevezhangzA/pb_ppoで公開されている。

詳細

PPOはロボット学習に広く応用され、安定した訓練性能を示すが、固定されたクリッピング境界が性能を制限する可能性がある。理論的には、訓練全体を通じて最適なクリッピング境界が一定であるという証明はなく、過去の研究では固定境界が方策の探索を制限することが示唆されている。そのため、多くの研究がクリッピング境界を動的に調整してPPOの性能を向上させようとしてきたが、それらの目的は累積報酬の最大化という強化学習タスクの目的と直接整合していなかった。 Pb-PPOは、二段階の近位方策最適化目的を導入し、クリッピング境界を動的に調整して報酬最大化の選好を反映する。多腕バンディットアプローチを用いて現在の報酬を最大化するクリッピング境界を推奨することで、固定境界のPPOと比較して安定性と性能が向上する。実験では、Gym-Mujocoやlegged-gymなどの複数の環境での locomotion ベンチマークに加え、カスタムのナビゲーションタスクでも検証され、様々な固定クリッピング境界や他のクリッピング手法との比較が行われた。

Key Facts

なぜ重要か

Pb-PPOは、強化学習の目的である累積報酬の最大化を直接反映する動的クリッピング境界を導入することで、PPOの性能と安定性を向上させる可能性を示した。これは、ロボット学習などPPOを応用する分野での訓練効率改善に寄与し得る。