Dreamer-CDP: 連続決定論的表現予測による再構築不要ワールドモデルの改善
Dreamer-CDP: Improving Reconstruction-free World Models Via Continuous Deterministic Representation Prediction
Dreamerなどのモデルベース強化学習エージェントで、観測再構築を使わずにJEPAスタイルの連続決定論的表現予測を導入し、Crafter環境で再構築ベース手法と同等の性能を達成した。
著者: Michael Hauri, Friedemann Zenke
分類: cs.LG
原文アブストラクト
Model-based reinforcement learning (MBRL) agents operating in high-dimensional observation spaces, such as Dreamer, rely on learning abstract representations for effective planning and control. Existing approaches typically employ reconstruction-based objectives in the observation space, which can render representations sensitive to task-irrelevant details. Recent alternatives trade reconstruction for auxiliary action prediction heads or view augmentation strategies, but perform worse in the Crafter environment than reconstruction-based methods. We close this gap between Dreamer and reconstruction-free models by introducing a JEPA-style predictor defined on continuous, deterministic representations. Our method matches Dreamer's performance on Crafter, demonstrating effective world model learning on this benchmark without reconstruction objectives.
関連論文
- ニューロシンボリック世界モデルによるゼロショットタスク転送に向けてモデルベース強化学習
- BRICKS-WM: インターフェース合成力学による構造化世界モデルの再利用性構築モデルベース強化学習
- PRISM: ワールドモデルにおける事前知識誘導型想像サンプリングモデルベース強化学習
- すべてのモデルは誤り、どこが誤りかを知ることが有用:強化学習におけるモデル不確実性についてモデルベース強化学習
- 勾配ペナルティ付き潜在ダイナミクスによる滑らかでサンプル効率的な夢の学習モデルベース強化学習
- AGWM: 構成的前提条件を持つ環境のためのアフォーダンス基盤世界モデルモデルベース強化学習