何が起きたか
研究チームは、教師なし強化学習の新フレームワーク「EUCLID（Efficient Unsupervised Reinforcement Learning Framework with Multi-choice Dynamics model）」を提案した。このフレームワークは、事前学習フェーズでダイナミクスモデルと教師なし探索ポリシーを同時に学習する新しいモデル融合パラダイムを導入し、環境サンプルの活用と下流タスクのサンプル効率を改善する。実験では、操作・移動領域において、100kの微調整ステップで平均正規化スコア104.0±1.2%を達成し、これはDDPGの2Mインタラクションステップ（20倍のデータ）に相当する性能である。
詳細
教師なし強化学習（URL）は、外的報酬のガイダンスなしにタスク非依存の環境で有用な行動を学習し、様々な下流タスクへの迅速な適応を促進する有望なパラダイムである。従来の研究はモデルフリーの事前学習に焦点を当てており、遷移ダイナミクスモデリングの研究が不足していたため、下流タスクのサンプル効率改善の余地が大きかった。EUCLIDはこの問題に対処するため、モデル融合パラダイムを導入し、事前学習フェーズでダイナミクスモデルと教師なし探索ポリシーを共同で事前学習する。 しかし、異なる行動下での局所ダイナミクスを捉える汎化可能なモデルを構築することは依然として困難である。そこで、EUCLIDはマルチチョイスダイナミクスモデルを導入し、異なる行動下での異なる局所ダイナミクスを同時にカバーする。このモデルは、教師なし事前学習中に異なる行動下での状態遷移を学習するために異なるヘッドを使用し、下流タスクでは予測に最も適切なヘッドを選択する。 実験結果は、操作・移動領域において、EUCLIDが高いサンプル効率で最先端の性能を達成し、状態ベースのURLBベンチマークを基本的に解決し、100kの微調整ステップで平均正規化スコア104.0±1.2%を達成したことを示している。これは、DDPGの2Mインタラクションステップ（20倍のデータ）に相当する性能である。
Key Facts
| EUCLIDは、事前学習フェーズでダイナミクスモデルと教師なし探索ポリシーを同時に学習する新しいモデル融合パラダイムを導入した。 | [1] |
| EUCLIDは、異なる行動下での局所ダイナミクスをカバーするマルチチョイスダイナミクスモデルを導入した。 | [1] |
| マルチチョイスダイナミクスモデルは、教師なし事前学習中に異なる行動下での状態遷移を学習するために異なるヘッドを使用し、下流タスクでは予測に最も適切なヘッドを選択する。 | [1] |
| 実験は操作・移動領域で行われ、EUCLIDは高いサンプル効率で最先端の性能を達成した。 | [1] |
| EUCLIDは、状態ベースのURLBベンチマークを基本的に解決し、100kの微調整ステップで平均正規化スコア104.0±1.2%を達成した。 | [1] |
| EUCLIDの性能は、DDPGの2Mインタラクションステップ（20倍のデータ）に相当する。 | [1] |
なぜ重要か
EUCLIDは、教師なし強化学習におけるダイナミクスモデリングの欠如に対処し、モデル融合パラダイムとマルチチョイスダイナミクスモデルを導入することで、下流タスクのサンプル効率を大幅に向上させた。これにより、教師なし事前学習の実用性が高まり、ロボット操作や移動などの分野での応用が期待される。