批評家誘導による潜在ワールドモデルでの合成経験生成

- オフライン強化学習において、latent world model を用いて合成経験を生成する手法 CGSE (Critic-Guided Synthetic Experience) を提案する研究。 - 既存のオフラインデータセットを拡張し、replay buffer に合成遷移を追加することで方策を改善する。 - 実環境との追加インタラクションやテスト時の planner を必要とせず、オフラインで完結する。

- 実世界での経験収集はコストや安全性の面でスケールしにくいという課題に対し、world model による経験生成は代替手段となる。 - しかし latent space での方策学習は imagined rollouts の compounding errors により制限される。 - CGSE は world model を局所的な遷移生成器として使い、critic guidance でモデル内の行動選択を行う点が特徴。 - 追加の実環境インタラクションやテスト時 planner を不要とする点が先行手法との違い。

- オフライン方策で候補行動をサンプリングし、trust region 内で Q-function の一次近似を最大化するよう各行動を refinement する。 - 更新後の各行動について、frozen な latent world model で将来状態を imagine する。 - critic を用いて最良の行動を選択し、その合成遷移を replay buffer に追加する。 - これにより world model を局所遷移生成器として活用する。

- OGBench の3つの manipulation タスクで評価。 - CGSE によりオフライン方策の平均 success rate が相対的に 7.1% 改善した。 - 詳細な比較対象や ablation は要旨からは不明。

- imagined rollouts の compounding errors への対処として trust region と critic guidance を用いる設計上の議論がある。 - frozen な world model を使うため、モデル自体の更新や誤差蓄積の影響については要旨からは不明。 - 限られたタスクでの評価であり、一般性や限界に関する議論は要旨からは不明。

- 要旨で参照/比較されている具体的な先行研究は明示されていない。 - 関連手法として model-based offline RL の定番である MOPO、MOReL、COMBO や、OGBench を基盤とするオフライン RL 研究を次に読む候補として挙げる。