オフライン強化学習2026/8/21arXiv:2608.20909

オフライン強化学習のためのポリシー抽出の分離

Decoupling Policy Extraction for Offline Reinforcement Learning

オフライン強化学習では、アクターと批評家を同時に訓練する従来の手法が、固定データによる過大評価やOOD行動の問題を引き起こす。本論文では、アクターを行動分布のモデリングに限定し、推論時に批評家が候補行動を再ランク付けする「分離ポリシー抽出」パラダイムを提案し、性能向上を実証した。

詳しい要約

1. どんなもの？

本論文は、オフライン強化学習（Offline RL）における従来の「actor-criticを同時に学習する」パラダイムを再考し、ポリシー改善をactorの学習から分離する「decoupled policy extraction paradigm」を提案する。具体的には、actorは行動分布のモデリングのみを学習し、推論時には別途学習したcriticがactorが生成した複数の行動候補を再ランキングすることでポリシー改善を行う。

2. 先行研究と比べてどこがすごい？

従来のOffline RL手法はactorとcriticを同時に学習し、criticがactorを高価値行動へ導く。しかし、オフライン設定ではデータが固定されており、actorの改善が新たなデータを生成しないため、criticの過大評価を増幅する可能性がある。また、OOD行動の抑制とデータ内の高価値行動の選択のトレードオフが難しい。本手法はポリシー改善をactor学習から分離することで、これらの課題を回避し、単純なQ-learning criticでも有効に機能する点が優れている。

3. 技術・手法の肝は？

手法の核心は、actorを行動分布のモデリング（behavior cloning）に専念させ、ポリシー改善を推論時の再ランキングに委ねること。具体的には、actorが複数の行動候補を生成し、別途学習したcriticがその候補セット内で価値に基づく選択を行う。これにより、actorはOOD行動を生成せず、criticはデータサポート領域内でのみ価値評価を行う。

4. どうやって有効だと検証した？

広範な実験により、提案パラダイムがbehavior cloningおよび同時学習型のOffline RL手法を上回る性能を示した。さらに、naiveなQ-learning criticを用いても有効であることを確認した。

5. 議論はある？

要旨からは、提案手法の限界や特定の条件下での性能低下などについての議論は不明。ただし、actorが生成する候補数やcriticの品質が性能に影響する可能性が考えられるが、詳細は要旨に記載されていない。

6. 次に読むべき論文は？

要旨で参照されている先行研究や関連手法は明示されていないが、オフラインRLの定番手法として、保守的価値推定（conservative value estimation）や行動クローニング正則化を用いた手法（例：CQL、IQL）が関連する。次に読むべき論文としては、これらの手法を比較対象とした論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuyao Lin, Yixiang Shan, Jinru Duan, Tao Yang, Xinyu Zhao, Runyu Lei, Yiming Zhao, Jiaxin Fan, Zongbao Feng, Peng Jia

分類: cs.LG, cs.RO

原文アブストラクト

Offline RL methods commonly jointly train the actor and critic, where the critic is used to guide the actor toward higher-value actions. This coupled learning process is well motivated in online RL, where an improved actor collects new data that can further update the actor and the critic. However, training data remains fixed in offline RL, making actor-side policy improvement unable to generate new data to validate or correct the critic. Moreover, retaining this coupled paradigm leads to two related challenges. Firstly, actor updates can drift toward high-valued but potentially out-of-distribution (OOD) actions and amplify critic overestimation. Secondly, conservative value estimation or behavior-cloning regularization creates a difficult trade-off between suppressing OOD actions and selecting high-value actions within the data-supported region. Motivated by this observation, we revisit the conventional offline RL paradigm and propose decoupling policy improvement from actor training. Specifically, we train the actor solely to model the behavior distribution and perform policy improvement at inference time by reranking multiple actor-generated proposals with a separately learned critic. We refer to this paradigm as the decoupled policy extraction paradigm. Under such paradigm, the actor provides behavior-supported action candidates, while the critic performs value-based selection within this candidate set. Extensive experiments show that the decoupled policy extraction paradigm outperforms both behavior cloning and jointly learned offline RL methods, while remaining effective even with a naive Q-learning critic.

arXivで原文を読む →arXiv概要ページ