強化学習のカリキュラム生成に最適輸送を応用 新手法GRADIENTを提案

何が起きたか

2022年10月18日に公開された論文(arXiv:2210.10195v1)で、研究チームは強化学習のカリキュラム学習(CRL)を最適輸送問題として定式化する新手法GRADIENTを提案した。GRADIENTは、タスク分布間の移動を段階的に分割し、Wasserstein重心を用いた測地線補間によってカリキュラムを生成する。実験では、移動および操作タスクにおいて、学習効率と漸近性能の点でベースラインを上回る性能を示したとしている。

詳細

カリキュラム強化学習(CRL)は、簡単なタスクから始めて徐々に難しいタスクへ学習を進める手法であり、本研究では補助(ソース)タスク分布と目標タスク分布の間の補間としてCRLを捉える。既存研究ではこのアイデアの可能性が示されているが、タスク分布間の移動を形式的に定量化し生成する方法は明確でなかった。 GRADIENTは、半教師あり学習における段階的ドメイン適応の知見に着想を得て、CRLにおける大きなタスク分布のシフトを小さなシフトに分割する。具体的には、ソース分布とターゲット分布の間の測地線補間(Wasserstein重心)としてタスク分布の系列を生成する。既存手法と異なり、タスク依存の文脈距離メトリックを考慮し、連続・離散の両方の文脈設定でノンパラメトリック分布を扱うことができる。 理論的には、特定の条件下でGRADIENTがカリキュラムの後続段階間のスムーズな移行を可能にすることを示した。実験では、移動タスクと操作タスクで広範な評価を行い、学習効率と漸近性能の両方でベースラインを上回る性能を達成したと報告している。

Key Facts

なぜ重要か

強化学習におけるカリキュラム学習は、複雑なタスクの学習を効率化する有望なアプローチである。GRADIENTは、タスク分布間の移動を最適輸送理論に基づいて形式的に扱うことで、カリキュラム設計の理論的基盤を強化し、学習効率と性能の向上に寄与する可能性がある。