人間の選好を用いた強化学習の新手法、状態拡張で性能向上

何が起きたか

2023年2月17日にarXivに公開された論文(識別番号: 2302.08734v1)において、研究者らは、人間の選好に基づく強化学習(Preference Based Reinforcement Learning)のための状態拡張技術を提案した。この手法は、エージェントの報酬モデルを堅牢にし、不変性の一貫性に従うことで、ベースラインであるPEBBLEと比較して報酬回復とその後のリターンを大幅に改善したとしている。

詳細

強化学習は、報酬の指定が不十分であることや、単純な領域でも報酬ハッキングの問題が発生することが課題となっている。選好ベースの強化学習は、人間のフィードバックによる軌道ペアの二値フィードバックを利用して報酬モデルを学習することで、この問題を解決しようとする。 提案手法は、状態拡張を用いて報酬モデルの堅牢性を高め、不変性の一貫性を維持する。検証は、Mountain Car、四足歩行タスクのQuadruped-Walk、ロボット操作タスクのSweep-Intoの3つの領域で行われ、提案された拡張を用いることで、エージェントは全体的な性能が向上するだけでなく、トレーニングの初期段階でその効果が現れることが確認された。

Key Facts

なぜ重要か

この研究は、人間の選好フィードバックを利用した強化学習の報酬モデルの改善に寄与するものであり、報酬ハッキングの問題に対処する可能性がある。状態拡張による不変性の一貫性は、より堅牢な学習を可能にし、ロボット操作や移動タスクなどへの応用が期待される。