長期的オフライン目標条件付き強化学習のための再帰的価値学習

DCRL (Divide-and-Conquer RL) は、長期的なオフライン Goal-Conditioned RL (GCRL) のための再帰的価値学習手法。軌道セグメントを balanced binary tree に再帰的に分解し、葉から根に向かって価値を学習する。各親ノードは子ノードの学習後に、観測された経路の正確な分解に基づいて更新される。

従来の flat offline GCRL 手法は、長期的な価値学習において、短期的な推定の誤差が蓄積し、max-based value backup による過大評価が増幅される問題があった。DCRL は、balanced binary tree により最悪の bootstrap depth を線形から対数に削減し、誤差の蓄積を遅くする。また、デモ経路に沿った価値学習と、軌道間の価値伝播を組み合わせることで、より短い経路の発見を可能にする。

手法の肝は、軌道セグメントを balanced binary tree に再帰的に分解し、葉から根へ価値を学習すること。各親ノードは、子ノードの価値を使用して、観測された経路の正確な factorization に基づいて更新される。これにより、max-based backup による過大評価を避ける。さらに、デモ経路に沿った価値学習に加えて、軌道間で価値を伝播させ、より短い経路を発見する。

多様な goal-reaching タスクで評価し、従来の flat offline GCRL 手法を大幅に上回る性能を示した。特に、最も困難な5つの長期的な OGBench タスクでは、従来の最良の平均スコアを55から64に改善し、すべての flat および hierarchical baseline を上回った。

要旨からは、DCRL がデモ経路に沿った価値学習を行うため、必ずしも最適でない経路を学習する可能性があるが、軌道間の価値伝播により短い経路を発見できるとしている。また、balanced binary tree による誤差蓄積の緩和が実験的に確認されたが、理論的な保証や他のタスクへの汎用性については要旨からは不明。

要旨で参照されている OGBench タスクや、関連する offline GCRL の先行研究（例: flat offline GCRL 手法、hierarchical baselines）が挙げられる。具体的な論文名は要旨にないため、同分野の定番として 'Offline Goal-Conditioned Reinforcement Learning' や 'Hierarchical Reinforcement Learning' に関する論文を読むとよい。