何が起きたか
2025年2月26日にarXivで公開された論文『Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data』は、オフラインからオンラインへの強化学習において、報酬なし・品質混合・複数 embodiment にわたる豊富な非キュレーションデータを活用する手法を提案した。著者らは、このデータを利用するために世界モデルの学習が有望であるとしつつも、単純なファインチューニングでは多くのタスクでRLトレーニングを加速できないことを発見した。その原因をオフラインとオンラインデータ間の分布シフトに帰属し、これを解決するために『経験リハーサル』と『実行ガイダンス』の2つの技術を導入した。限られたサンプル予算の下で、提案手法は6つの embodiment にわたる72の視覚運動タスクにおいて、学習ゼロからのベースラインと比較してほぼ2倍の総合スコアを達成した。
詳細
論文は、オフラインデータを活用することがオンライン強化学習のサンプル効率を向上させる有望な方法であると指摘する。従来のオフラインからオンラインへのRLでは、キュレーションされたデータが使われることが多いが、本研究は報酬なし・品質混合・複数 embodiment にわたる非キュレーションデータのプールを拡大する。 著者らは、世界モデルの学習がこのようなデータを利用する上で有望であると述べる一方、単純なファインチューニングでは多くのタスクでRLトレーニングを加速できないことを実験的に見出した。この失敗を、ファインチューニング中のオフラインデータとオンラインデータの分布シフトに起因すると分析している。 この問題に対処するため、論文は『経験リハーサル』と『実行ガイダンス』という2つの技術を提案する。これらの修正により、非キュレーションデータがRLのサンプル効率を大幅に向上させるとしている。具体的には、限られたサンプル予算の下で、提案手法は6つの embodiment にわたる72の視覚運動タスクにおいて、学習ゼロからのベースラインと比較してほぼ2倍の総合スコアを達成した。さらに、移動やロボット操作などの困難なタスクでは、オフラインデータを利用する従来手法を上回る性能を示した。
Key Facts
| 論文は2025年2月26日にarXivで公開された（arXiv:2502.19544v3）。 | [1] |
| 論文タイトルは『Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data』。 | [1] |
| 提案手法は、報酬なし・品質混合・複数 embodiment にわたる非キュレーションデータを活用する。 | [1] |
| 単純なファインチューニングでは多くのタスクでRLトレーニングを加速できないことを発見した。 | [1] |
| 失敗の原因は、ファインチューニング中のオフラインとオンラインデータ間の分布シフトに帰属された。 | [1] |
| 提案技術は『経験リハーサル』と『実行ガイダンス』の2つ。 | [1] |
| 限られたサンプル予算の下で、提案手法は72の視覚運動タスクで学習ゼロからのベースラインと比較してほぼ2倍の総合スコアを達成した。 | [1] |
| タスクは6つの embodiment にわたる。 | [1] |
| 移動やロボット操作などの困難なタスクでは、オフラインデータを利用する従来手法を上回る性能を示した。 | [1] |
なぜ重要か
この研究は、従来は利用が難しかった非キュレーションデータを強化学習に活用する道を開くものであり、サンプル効率の大幅な向上を示した点で重要である。特に、複数の embodiment にわたるデータを扱えることは、ロボット学習などの分野での実用性を高める可能性がある。