強化学習2026/8/3arXiv:2608.02034

上側期待値マルチステップQ学習によるオフ方策強化学習

Upper-Expectile Multi-Step Q-Learning for Off-Policy Reinforcement Learning

マルチステップリターンの悲観的バイアスを非対称な期待値損失で補正する新しいQ学習アルゴリズムENQを提案し、理論的性質と実験性能を示した。

詳しい要約

1. どんなもの？

本論文は、オフポリシー強化学習におけるマルチステップリターンの pessimistic bias を軽減する新しいアルゴリズム Expectile n-step Q-learning (ENQ) を提案している。ENQ は、n-step TD 損失の代わりに非対称な expectile 損失を用いることで、サブオプティマルなログデータの影響を抑える。

2. 先行研究と比べてどこがすごい？

従来の n-step TD は対称損失を用いるため、サブオプティマルな後続行動により pessimistic bias が生じる。ENQ は expectile 損失により非対称性を導入し、τ=1 では決定論的ダイナミクス下でバイアスが消えることを理論的に示す。また、Long-Horizon Q-learning (LQL) の lower-bound inequality との関連も示す。

3. 技術・手法の肝は？

ENQ の核心は、n-step TD 誤差に対して expectile 損失を適用することである。expectile レベル τ が唯一の追加ハイパーパラメータであり、τ=0.8 を固定して使用する。理論的には、ENQ オペレータが γ^n-縮小写像であることを証明し、決定論的ダイナミクスでのバイアス消失条件や確率論的ダイナミクスでの両側バウンドを導出する。

4. どうやって有効だと検証した？

27 の操作・ナビゲーションタスクインスタンスで、単一の expectile レベル τ=0.8 と固定バックアップホライズンを用いて評価。LQL と比較して総合的に競合し、プロファイリングでは高いトレーニングステップスループットを達成。また、10 クリティカルアンサンブルによるスケーリング実験でより大きな改善を示した。

5. 議論はある？

要旨からは、ENQ の理論的保証は決定論的ダイナミクスに限定されており、確率論的ダイナミクスではバイアスが完全に消えない可能性がある。また、expectile レベル τ の選択が性能に影響するが、本研究では固定値で良い結果を得ている。実装の詳細や他のアルゴリズムとの比較は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている Long-Horizon Q-learning (LQL) が関連研究として挙げられる。また、n-step TD や expectile 回帰の基礎論文も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abdelghani Ghanem, Mounir Ghogho

分類: cs.LG

原文アブストラクト

Multi-step returns accelerate reward propagation in off-policy reinforcement learning, but couple the evaluation of each decision to the suboptimal logged actions that follow it, inducing a pessimistic bias that grows with the horizon. We propose Expectile $n$-step Q-learning (ENQ), which replaces the symmetric $n$-step temporal-difference (TD) loss with an asymmetric expectile loss on the action-value error, with expectile level $τ$ as the only method-specific hyperparameter added beyond $n$-step TD. We prove that the ENQ operator is a $γ^{n}$-contraction. Under deterministic dynamics, at $τ=1$, its bias vanishes at the optimal action-value function $Q^*$ on covered in-support pairs, and the corresponding fixed point satisfies the separation-$n$ instance and its multiples of the lower-bound inequality used by Long-Horizon Q-learning (LQL). Under stochastic dynamics, the operator bias admits two-sided bounds with horizon-independent noise constants. Using a single expectile level $τ=0.8$ and a fixed backup horizon across 27 manipulation and navigation task instances, ENQ is competitive with LQL on aggregate, achieves higher measured training-step throughput in our profiling study, and benefits more from a ten-critic ensemble in a controlled scaling experiment.

arXivで原文を読む →arXiv概要ページ