階層構造を平坦化するオフライン強化学習アルゴリズム「SAW」を提案

何が起きたか

arXivに2025年5月20日付で掲載された論文「Flattening Hierarchies with Policy Bootstrapping」において、研究チームはオフライン目標条件付き強化学習（GCRL）の新アルゴリズムを提案した。このアルゴリズムは、サブゴール条件付きポリシーをアドバンテージ重み付き重要度サンプリングでブートストラップすることで、階層的でない平坦なポリシーを訓練する。論文は、状態ベースおよびピクセルベースの移動・操作ベンチマーク群で、既存の最先端オフラインGCRLアルゴリズムと同等以上を達成し、従来手法が失敗する複雑で長期的なタスクにスケールすると報告している。プロジェクトページは https://johnlyzhou.github.io/saw/ で公開されている。

詳細

オフラインGCRLは、報酬なし軌跡の大規模データセット上で汎用ポリシーを事前訓練する有望なアプローチとされる。しかし、長期的な地平線へのスケーリングは、スパースな報酬と割引の組み合わせにより、遠い目標に対するプリミティブな行動の比較優位が不明瞭になるため困難である。階層的RLは長期的な目標到達タスクで強い経験的結果を示すが、モジュール化された時間スケール固有のポリシーとサブゴール生成への依存が複雑さを増し、高次元の目標空間へのスケーリングを妨げる。 提案手法は、(サブ)ゴール空間上の生成モデルを不要にすることで、大規模状態空間での高次元制御へのスケーリングを可能にする。論文は、既存の階層的アプローチとブートストラップベースのアプローチが、導出内の特定の設計選択に対応することを示している。

Key Facts

なぜ重要か

この研究は、オフライン強化学習における長期的な目標到達の課題に対し、階層構造を不要にする新たなアプローチを提示する。生成モデルを排除することで高次元制御へのスケーリングが可能となり、ロボット工学や自動運転など、複雑なタスクへの応用が期待される。