何が起きたか
2023年8月25日にarXivに公開された論文「Go Beyond Imagination: Maximizing Episodic Reachability with World Models」において、研究チームは新しい内発的報酬設計「GoBI（Go Beyond Imagination）」を提案した。GoBIは、生涯にわたる新規性動機付けと、エピソード内の到達可能性拡大を最大化する内発的報酬を組み合わせる。具体的には、学習された世界モデルを用いてランダムな行動による未来状態を予測し、エピソード記憶にないユニークな予測が多い状態に高い内発的報酬を割り当てる。この手法は、12のMinigridナビゲーションタスクで従来の最先端手法を大幅に上回り、DeepMind Control Suiteのロコモーションタスクではサンプル効率を改善した。
詳細
強化学習における効率的な探索は、特に報酬が疎なタスクでは難しい課題とされる。報酬の疎さに対処するため、一般的には内発的報酬を用いてエージェントの探索を動機付ける手法が採られる。GoBIは、この内発的報酬の設計において、従来の生涯にわたる新規性（lifelong novelty）と、エピソード内の到達可能性の段階的拡大を最大化する報酬を組み合わせる点に特徴がある。 具体的な仕組みとして、GoBIは学習された世界モデルを使用して、ランダムな行動を取った場合の未来状態を予測する。そして、エピソード記憶に存在しないユニークな予測が多い状態に対して、高い内発的報酬を割り当てる。これにより、エージェントは未探索の状態へ効率的に誘導される。 実験では、Minigridの12のナビゲーションタスクにおいて、従来の最先端手法を大幅に上回る性能を示した。また、DeepMind Control Suiteのロコモーションタスクでは、サンプル効率の改善が確認された。
Key Facts
| 論文タイトルは「Go Beyond Imagination: Maximizing Episodic Reachability with World Models」で、2023年8月25日にarXivに公開された（arXiv:2308.13661v1）。 | [1] |
| GoBIは、生涯にわたる新規性動機付けと、エピソード内の到達可能性拡大を最大化する内発的報酬を組み合わせる。 | [1] |
| GoBIは、学習された世界モデルを用いてランダムな行動による未来状態を予測し、エピソード記憶にないユニークな予測が多い状態に高い内発的報酬を割り当てる。 | [1] |
| GoBIは、12のMinigridナビゲーションタスクで従来の最先端手法を大幅に上回った。 | [1] |
| GoBIは、DeepMind Control Suiteのロコモーションタスクでサンプル効率を改善した。 | [1] |
なぜ重要か
この研究は、強化学習における探索の難しさ、特に報酬が疎な環境での課題に取り組むものである。GoBIは世界モデルを活用した新しい内発的報酬設計を提案し、複数のベンチマークで従来手法を上回る結果を示した。これは、実世界の複雑なタスクにおける強化学習の適用可能性を広げる可能性がある。