Open-Ended RL with Neural Reward Functions: 新たなスキル発見手法を提案

何が起きたか

2022年2月16日にarXivに公開された論文で、ニューラル報酬関数を用いたオープンエンド強化学習手法が提案された。この手法は、Half-Cheetahでの前宙返りやHumanoidでの片足走行など、高次元ロボット環境で多様なスキルを獲得したと報告されている。

詳細

提案手法は、DIAYNやDADSのような相互情報量目的を最適化する既存の教師なしスキル発見手法とは異なり、ニューラルネットワークで符号化された報酬関数を反復的に訓練する。報酬関数はより複雑な行動を報酬付けるように更新され、これによりエージェントは複雑なスキルを自律的に獲得する。実験では、Half-Cheetah環境で前宙返り、Humanoid環境で片足走行を学習し、ピクセルベースのMontezuma's Revenge環境でもアイテムとの相互作用や多様な場所の訪問を含む複雑なスキルを学習した。実装はGitHubで公開されている。

Key Facts

本紙の見方

本論文は、強化学習における教師なしスキル発見の新たな方向性を示すものだ。従来のDIAYNやDADSは相互情報量の最大化に基づいていたが、本手法はニューラル報酬関数を反復的に訓練することで、より複雑な行動を報酬付ける点が新しい。このアプローチは、報酬関数自体を学習対象とすることで、タスク設計の手間を減らし、より汎用的なスキル獲得を目指すものとみられる。 本紙の過去報道との接続を考えると、[本紙の関連記事]として挙げられた記事は存在しないが、強化学習分野の進展を考えると、近年の教師なし学習の成功に触発された研究の流れの延長線上にある。特に、コンピュータビジョンや自然言語処理での教師なし学習の成功が、強化学習にも波及している。本手法は、その流れの中で報酬関数の自動設計に焦点を当てた点で独自性がある。 業界構造への含意としては、ロボット工学や自動運転など、実世界での応用が期待される。報酬関数の設計は強化学習の実用化における大きな障壁であり、本手法がその障壁を低減できれば、産業応用が加速する可能性がある。しかし、現時点ではシミュレーション環境での検証に留まっており、実ロボットでの検証は公開情報では確認できない。 未確定の論点として、まず、本手法のスケーラビリティが挙げられる。高次元環境での性能は示されているが、さらに複雑なタスクや大規模環境での有効性は不明である。次に、報酬関数の学習が収束する保証や、学習された報酬関数の解釈可能性が課題となる。最後に、実世界での適用には、シミュレーションと実環境のギャップを埋めるための追加の工夫が必要とみられる。 今後確認すべき点として、第一に、本手法が実ロボットや実世界のタスクでどの程度機能するか、第二に、報酬関数の学習が不安定にならないか、第三に、他の教師なしスキル発見手法と比較した際の計算コストや性能の優位性が挙げられる。

なぜ重要か

本手法は、強化学習における報酬設計の自動化という重要な課題に取り組むものであり、実用化への障壁を低減する可能性がある。今後の展開次第では、ロボットや自動運転などの分野での応用が進むとみられる。