何が起きたか
研究チームは、オフライン強化学習の新フレームワーク「DEAS（DEtached value learning with Action Sequence）」を提案し、論文をarXivに公開した（2025年10月9日付）。DEASは、単一ステップの行動ではなく行動系列を価値学習に用いることで、複雑で長期的な意思決定タスクにおける性能を向上させる。実験では、OGBenchの複雑な長期的タスクで既存のベースライン手法を一貫して上回り、RoboCasa Kitchenシミュレーションタスクおよび実世界の操作タスクにおいて、行動系列を予測する大規模視覚言語行動モデルの性能を大幅に向上させたと報告している。
詳細
オフライン強化学習は、オンラインでの高コストな相互作用を必要とせずに知的エージェントを訓練できる魅力的なパラダイムであるが、複雑で長期的な逐次意思決定には依然として課題があった。DEASは、時間的に拡張された行動（行動系列）を価値学習に利用する。この行動系列は、単一ステップの行動よりも豊富な情報を提供し、オプションフレームワークを介して半マルコフ決定過程Q学習として解釈できるため、より長い系列を一度に考慮することで実効的な計画地平線を短縮できる。しかし、アクタークリティックアルゴリズムにそのような系列を直接採用すると、過度な価値の過大評価が生じる。DEASは、価値推定をオフラインデータセット内で高いリターンを達成する分布内行動へ向ける「分離価値学習（detached value learning）」により、この問題に対処する。
Key Facts
| DEASはオフライン強化学習の新フレームワークであり、行動系列を価値学習に活用する。 | [1] |
| DEASはOGBenchの複雑で長期的なタスクにおいて、ベースライン手法を一貫して上回った。 | [1] |
| DEASはRoboCasa Kitchenシミュレーションタスクと実世界の操作タスクで、大規模視覚言語行動モデルの性能を大幅に向上させた。 | [1] |
| 行動系列は単一ステップの行動よりも豊富な情報を提供し、オプションフレームワークを介して半マルコフ決定過程Q学習として解釈できる。 | [1] |
| 行動系列を直接採用すると過度な価値の過大評価が生じるため、DEASは分離価値学習で対処する。 | [1] |
| 分離価値学習は、価値推定をオフラインデータセット内で高いリターンを達成する分布内行動へ向ける。 | [1] |
なぜ重要か
DEASは、オフライン強化学習における長期的な意思決定タスクの性能向上に寄与する可能性がある。また、大規模視覚言語行動モデルの性能向上に応用できることから、ロボット操作などの実世界応用への貢献が期待される。