潜在世界モデルを用いた強化学習によるプランニング

本論文は、複数ステップの計画改善（plan improvement）を完全に学習する最初の手法であるReinforced Planning（RP1）を提案する。RP1は、潜在世界モデル（latent world model）の想像上のロールアウトから、計画の評価（critic）と改善（optimizer）の両方をオフラインで学習する。任意の事前学習済み潜在世界モデルに独立して取り付け可能で、視覚ナビゲーション、アーム到達、ロボット操作のタスクで、手設計の探索アルゴリズムを上回る性能を示す。

従来のプランナーは、手設計、手設計オプティマイザからの蒸留、または償却ポリシーに情報を与えるだけの学習であり、計画自体を修正する方法は学習されていなかった。RP1は、探索ルールをニューラルプランナーに強化学習で組み込むという新しい考え方に基づき、複数ステップの計画改善を完全に学習する最初の手法である点が優れている。また、事前学習済みの任意の潜在世界モデルに取り付け可能で、世界モデルのロールアウトを1000倍削減し、同時推論で最大67倍高速である。

RP1は、潜在世界モデルから想像上のロールアウトを生成し、その結果を用いてオフライン強化学習を行う。具体的には、計画の価値を評価するcriticと、計画を改善するoptimizerを学習する。optimizerは、現在の計画と世界モデルの予測に基づいて、より良い計画を生成するように訓練される。このプロセスは、探索ルールをニューラルネットワークに強化するという考え方に基づいており、完全にオフラインで学習される。

視覚ナビゲーション、アーム到達、ロボット操作のタスクにおいて、2つの異なる世界モデルバックボーンを用いて評価した。手設計の探索アルゴリズムと比較し、RP1は大幅に優れた性能を示し、いくつかの設定ではほぼ完璧な成功率を達成した。また、世界モデルのロールアウト数を1000倍削減し、同時プランナー推論では最強の代替手法より最大67倍高速であることを示した。

要旨からは、RP1の限界や潜在的な欠点についての議論は不明である。ただし、完全に学習された計画改善が、手設計の探索アルゴリズムよりも優れていることを示す一方で、学習にはオフラインのロールアウトが必要であり、その生成コストや、世界モデルの品質に依存する可能性が考えられる。また、複雑な実世界タスクへの適用可能性や、より大規模な計画問題へのスケーラビリティについては要旨からは不明である。

要旨で参照されている関連研究として、世界モデル（world models）、強化学習による探索（learned search）、および計画改善（plan improvement）に関する研究が挙げられる。具体的には、MuZeroやDreamerなどのモデルベース強化学習手法、およびモンテカルロ木探索（MCTS）などの手設計探索アルゴリズムが関連する。