世界モデルRL2026/10/29arXiv:2610.41022

密度誘導ブートストラップ境界による潜在世界モデル強化学習

Density-Guided Bootstrap Boundaries for Latent World-Model Reinforcement Learning

スコア推定に基づく相対密度プロキシで想像軌跡の信頼度を測り、リターン展開の深さを適応的に打ち切るゲーティング機構を提案。Dreamer V3に実装し連続制御とAtari Pongで有効性を示した。

詳しい要約

1. どんなもの？

- 潜在世界モデルにおける強化学習のための手法。 - 想像軌跡から方策を学習する際、モデル依存の深さ(imagination horizon)を軌跡ごとに適応させる。 - density-guided bootstrap boundaries と呼ぶ、軌跡依存のメカニズムを提案。 - score-informed relative density proxy を用いて想像リターンの深さを調整する。 - Dreamer V3 上に実装され、連続制御タスクと Atari Pong で評価される。

2. 先行研究と比べてどこがすごい？

- 固定 imagination horizon は軌跡の信頼性に関わらず一律の予測深さを用いるため、モデル誤差の累積や critic 近似への過依存を招く。 - 提案法は軌跡ごとに深さを適応させ、固定ホライズンや auxiliary-enabled ベースラインより sample efficiency と late-training performance を改善。 - 特定の dynamics model に依存せず定式化され、Dreamer V3 に実装可能。 - gated Bellman operator が strict contraction mapping であること、early bootstrapping が conditional target variance を単調に減らすことを証明。

3. 技術・手法の肝は？

- score-informed relative density proxy を導入。 - この proxy は feature displacement network と noise-conditioned score estimator から成る score-corrected auxiliary field の推定 divergence を想像経路上で累積する。 - 2つの gating 機構: 離散状態で return expansion を止める hard boundary と、return recursion を連続的に critic bootstrapping へ移行させる soft boundary。 - 両変種は boundary value estimates を保持し、actor と critic の損失に survival weights を適用。 - 特定の dynamics model に依存せず、Dreamer V3 内で実装。

4. どうやって有効だと検証した？

- 連続制御タスクと Atari Pong で実証評価。 - 動的 boundary 選択が固定ホライズンおよび auxiliary-enabled ベースラインより sample efficiency と late-training performance を向上させることを示す。 - 理論面では gated Bellman operator の strict contraction 性と early bootstrapping による conditional target variance の単調減少を証明。

5. 議論はある？

- expansion proxy と exact path likelihood を区別する理論的仮定を明確化。 - 提案法の理論的性質(strict contraction、variance 減少)を示す一方、proxy が厳密な経路尤度ではない点に議論の余地。 - 具体的な限界や失敗ケースについての詳細は要旨からは不明。

6. 次に読むべき論文は？

- Dreamer V3(提案法の実装基盤) - score-based generative modeling / score estimator 関連(noise-conditioned score estimator の背景) - Bellman operator の contraction 解析に関する強化学習理論 - 固定 imagination horizon を用いる latent world model RL の代表的手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shashank Gupta, Pilhwa Lee

分類: cs.LG, stat.ML

原文アブストラクト

Latent world models allow reinforcement learning agents to learn policies from imagined trajectories, yet determining the optimal depth of model reliance remains a fundamental challenge. Fixed imagination horizons apply uniform prediction depths regardless of trajectory reliability, exposing target values to compounding model error or over-relying on critic approximations. We introduce density-guided bootstrap boundaries, a trajectory-dependent mechanism that adapts the depth of imagined returns using a score-informed relative density proxy. The proxy accumulates the estimated divergence of a score-corrected auxiliary field formed by a feature displacement network and a noise-conditioned score estimator along imagined paths. We propose two gating mechanisms: a hard boundary that halts return expansion at a discrete state, and a soft boundary that continuously shifts the return recursion toward critic bootstrapping. Both variants preserve boundary value estimates and apply corresponding survival weights to actor and critic losses. Formulated independently of specific dynamics models and instantiated within Dreamer V3, we prove that the resulting gated Bellman operator is a strict contraction mapping and that early bootstrapping monotonically reduces conditional target variance. We clarify the theoretical assumptions distinguishing our expansion proxy from exact path likelihoods. Across continuous-control tasks and Atari Pong, empirical evaluations show that dynamic boundary selection enhances sample efficiency and late-training performance over fixed-horizon and auxiliary-enabled baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧