オフラインデータを用いた階層型強化学習の新手法を提案

何が起きたか

arXivに2024年7月21日付で公開された論文「Temporal Abstraction in Reinforcement Learning with Offline Data」において、研究チームはオフラインの遷移データセットから階層型強化学習アルゴリズムを訓練する枠組みを提案した。このデータセットは未知の行動ポリシーによって収集されたものである。提案手法は、Gym MuJoCo locomotion環境とロボットグリッパーのブロック積みタスクにおいて、標準設定、転移設定、目標条件付き設定で検証された。

詳細

標準的な強化学習アルゴリズムは、スパースな報酬、多様な行動、長期的な計画を伴う複雑な環境のタスクでは性能が低い。この問題に対処するため、異なる時間スケールで計画するポリシーの階層を訓練する時間的抽象化の研究が進められてきた。オプションフレームワークは、高レベルポリシーによって制御される拡張アクションとして機能する低レベルオプションを学習することで、時間的抽象化を実装する。しかし、これらのアルゴリズムを実世界の問題に適用する際の主な課題は、階層の複数レベルを訓練するためのサンプル複雑性が高く、オンライン設定では不可能なことである。 本研究では、この課題に対処するため、他の未知のエージェントが収集した既存のオフラインデータセットからオプションを学習できるオフライン階層型RL手法を提案する。学習されたオプションとオフラインデータセットを生成したポリシーとの間の分布のミスマッチが原因で、これは非常に困難な問題であり、著者らはこの方向での最初の研究であるとしている。

Key Facts

なぜ重要か

この研究は、オフラインデータのみを用いて階層型強化学習を可能にする点で、実世界のロボット学習などオンラインでの試行錯誤が困難な領域への応用に貢献する可能性がある。また、未知のポリシーが生成したデータを利用する点で、既存データの有効活用を促進する。