何が起きたか
arXivに2022年10月26日付で掲載された論文は、デモンストレーションデータを活用する強化学習の手法を提案している。この手法は、スキル学習と系列モデリングを組み合わせ、潜在空間の事前分布を用いて高水準のポリシー学習を加速する。実験では、複雑なシミュレーション環境やオフライン強化学習ベンチマークで有効性が示された。
なぜ重要か
デモンストレーションデータはあるが、報酬が乏しい強化学習環境で学習を進めたい研究者向けの手法です。状態だけのモーションキャプチャーから得た事前分布を使い、高水準の方策学習を速める点を、発表元は複雑な模擬人型環境や移動・物体操作のオフラインベンチマークで示したとしています。