計画としての時空間予測:生成的世界モデルを用いたモデルベース強化学習アプローチ
Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models
時空間予測をモデルベース強化学習の問題として捉え、生成的世界モデルとビーム探索による計画で非微分な評価指標を報酬として活用し、極端事象の捕捉精度を高める手法を提案した。
著者: Hao Wu, Yuan Gao, Xingjian Shi, Shuaipeng Li, Fan Xu, Fan Zhang, Zhihong Zhu, Weiyan Wang, Xiao Luo, Kun Wang, Xian Wu, Xiaomeng Huang
分類: cs.LG, cs.AI
原文アブストラクト
To address the dual challenges of inherent stochasticity and non-differentiable metrics in physical spatiotemporal forecasting, we propose Spatiotemporal Forecasting as Planning (SFP), a new paradigm grounded in Model-Based Reinforcement Learning. SFP constructs a novel Generative World Model to simulate diverse, high-fidelity future states, enabling an "imagination-based" environmental simulation. Within this framework, a base forecasting model acts as an agent, guided by a beam search-based planning algorithm that leverages non-differentiable domain metrics as reward signals to explore high-return future sequences. These identified high-reward candidates then serve as pseudo-labels to continuously optimize the agent's policy through iterative self-training, significantly reducing prediction error and demonstrating exceptional performance on critical domain metrics like capturing extreme events.
関連論文
- CAST: 交互状態価値目標と拡張方策勾配によるモデルベース強化学習モデルベース強化学習
- ニューロシンボリック世界モデルによるゼロショットタスク転送に向けてモデルベース強化学習
- BRICKS-WM: インターフェース合成力学による構造化世界モデルの再利用性構築モデルベース強化学習
- PRISM: ワールドモデルにおける事前知識誘導型想像サンプリングモデルベース強化学習
- すべてのモデルは誤り、どこが誤りかを知ることが有用:強化学習におけるモデル不確実性についてモデルベース強化学習
- 勾配ペナルティ付き潜在ダイナミクスによる滑らかでサンプル効率的な夢の学習モデルベース強化学習