何が起きたか
2023年3月7日にarXivで公開された論文「Sample-efficient Real-time Planning with Curiosity Cross-Entropy Method and Contrastive Learning」において、Curiosity CEM (CCEM)と呼ばれる新しいモデルベース強化学習アルゴリズムが提案された。CCEMは、実時間計画に用いられるCross-Entropy Method (CEM)を改良し、好奇心による探索を促進する。提案手法は、計画期間中の状態行動Q値の合計を最大化し、将来の外的報酬と内的報酬を推定することで、新奇な観測への到達を促す。また、対比表現学習を用いて潜在表現を効率的に学習する。実験では、DeepMind Control suiteの画像ベース連続制御タスクにおいて、CCEMが従来のMBRLアルゴリズムよりも大幅にサンプル効率が高く、最良のモデルフリーRL手法と同等以上の性能を示したと報告されている。
詳細
モデルベース強化学習(MBRL)と実時間計画は、移動や操作の制御タスクで大きな可能性を示してきたが、既存の計画手法であるCross-Entropy Method (CEM)は複雑な高次元環境にうまくスケールしない。その主な理由の一つは探索の欠如であり、これらの計画手法は計画期間中の累積外的報酬のみを最大化するためである。さらに、観測がないコンパクトな潜在空間内での計画では、好奇心に基づく内的動機付けを用いることが難しい。 CCEMは、計画期間中の状態行動Q値の合計を最大化することで、将来の外的報酬と内的報酬を推定し、新奇な観測への到達を促す。また、対比表現学習を用いて潜在表現を効率的に学習する。実験では、DeepMind Control suiteの画像ベース連続制御タスクにおいて、CCEMが従来のMBRLアルゴリズムよりも大幅にサンプル効率が高く、最良のモデルフリーRL手法と同等以上の性能を示したと報告されている。
Key Facts
| 論文は2023年3月7日にarXivで公開された (arXiv:2303.03787v2) | [1] |
| 提案手法はCuriosity CEM (CCEM)と呼ばれる | [1] |
| CCEMはCross-Entropy Method (CEM)を改良したアルゴリズムである | [1] |
| CCEMは計画期間中の状態行動Q値の合計を最大化する | [1] |
| CCEMは好奇心に基づく探索を促進する | [1] |
| CCEMは対比表現学習を用いて潜在表現を学習する | [1] |
| 実験はDeepMind Control suiteの画像ベース連続制御タスクで行われた | [1] |
| CCEMは従来のMBRLアルゴリズムよりも大幅にサンプル効率が高いと報告された | [1] |
| CCEMは最良のモデルフリーRL手法と同等以上の性能を示したと報告された | [1] |
なぜ重要か
この研究は、モデルベース強化学習における実時間計画の探索問題に取り組み、好奇心を活用することでサンプル効率を大幅に向上させる手法を提案している。画像ベースの連続制御タスクでの性能向上は、実世界のロボット制御などへの応用可能性を示唆する。