自己教師あり強化学習でタスク間転移を実現する新手法を提案

何が起きたか

2023年5月26日にarXivに公開された論文『Self-Supervised Reinforcement Learning that Transfers using Random Features』において、研究チームはモデルフリー強化学習と自己教師あり学習を組み合わせた新手法を提案した。この手法は、ランダムな特徴量を報酬として用いた自己教師あり事前学習により、長期的な環境ダイナミクスを暗黙的にモデル化し、モデル予測制御などの計画手法を用いて新しい報酬関数の問題に迅速に適応することを可能にする。

詳細

従来のモデルフリー強化学習アルゴリズムは、高次元の観測と長い地平線を持つ単一タスクの逐次意思決定問題で大きな可能性を示す一方、タスク間の一般化が難しいとされる。一方、モデルベース強化学習はタスク非依存の環境モデルを学習し、異なる報酬関数間での転移を自然に可能にするが、複合誤差により複雑な環境へのスケーリングに課題があった。 提案手法は、モデルフリー強化学習の自己教師あり事前学習をランダムな特徴量を報酬として行うことで、長期的な環境ダイナミクスの暗黙的なモデル化を実現し、モデルベース強化学習の課題を回避する。この手法は報酬ラベルなしのオフラインデータセットで訓練可能であり、新しいタスクに迅速に展開できる。シミュレーション上の操作および移動領域でタスク間転移を検証し、汎用意思決定エージェントへの道を開くとしている。

Key Facts

なぜ重要か

この研究は、モデルフリー強化学習の一般化の課題とモデルベース強化学習のスケーラビリティの課題を同時に解決する可能性を示す。報酬ラベルなしのデータで事前学習できるため、実世界のデータを活用した汎用意思決定エージェントの実現に寄与すると期待される。