モデルベース強化学習2026/11/6arXiv:2611.09625

テスト時モデルベース強化学習による世界モデルへの記憶の符号化

Encoding Memory in World Models with Test-Time Model-Based Reinforcement Learning

テスト時に勾配降下でエピソード観測の記憶を世界モデルのパラメータに書き込み、各エピソード固有の世界モデルを学習することで長期記憶を実現するTT-MBRLを提案した論文。

詳しい要約

1. どんなもの？

- Model-based reinforcement learning (MBRL) における長期記憶の問題に取り組む研究 - アーキテクチャ設計ではなく、test time の gradient descent で episode 観測の記憶を world model のパラメータにエンコードする Test-Time Model-Based Reinforcement Learning (TT-MBRL) を提案 - episode ごとに異なる world model を学習させることで記憶能力の向上を狙う - Memory Maze 2D、Memory Maze (3D)、DeepMind Control、Atari 100k で評価

2. 先行研究と比べてどこがすごい？

- 従来の MBRL は長期記憶・計画を要するタスクで人間の性能を超えることに苦戦 - 既存研究は主にアーキテクチャ設計に依存し、contextual memory のみに頼る手法が中心 - TT-MBRL はアーキテクチャではなく test time の学習で記憶をパラメータに埋め込む点が新しい - 異なる world model アーキテクチャ間でも一貫した改善を示し、Memory Maze benchmark で新たな state-of-the-art を達成

3. 技術・手法の肝は？

- test time に gradient descent を実行し、episode の観測履歴を world model のパラメータへエンコード - これにより episode ごとに固有の world model を獲得 - contextual memory のみに依存する従来手法と対比される、パラメータベースの記憶機構 - 特定のアーキテクチャに限定されず、複数の world model アーキテクチャに適用可能

4. どうやって有効だと検証した？

- Memory Maze の簡略化 2D 版である Memory Maze 2D で proof of concept を実施し、異なる world model アーキテクチャで一貫した改善を確認 - 3D の Memory Maze benchmark で新たな state-of-the-art を達成 - 記憶を要しない DeepMind Control と Atari 100k でも強い性能を維持することを確認

5. 議論はある？

- test time の gradient descent による計算コストや実用性に関する議論は要旨からは不明 - episode ごとの world model 学習が汎化や安定性に与える影響は要旨からは不明 - contextual memory との比較の詳細や限界は要旨からは不明 - 非記憶ベンチマークで性能を維持する理由の分析は要旨からは不明

6. 次に読むべき論文は？

- Memory Maze benchmark の原論文 - contextual memory を用いる MBRL 手法（例: Dreamer 系の world model 研究） - test-time training / test-time adaptation に関する研究 - Memory Maze 2D の基となった Memory Maze 環境の詳細 - DeepMind Control および Atari 100k を用いた MBRL の代表的研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maxime Burchi, Fayaz Ali Dharejo, Radu Timofte

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Model-based reinforcement learning (MBRL) approaches have demonstrated strong performance across diverse domains in recent years, learning accurate world models from agent trajectories. However, despite this progress, current approaches still struggle to surpass human performance on tasks that require long-term memory and planning. In this work, we address the problem of long-term memory in MBRL by moving beyond the commonly studied paradigm of architecture design. We introduce Test-Time Model-Based Reinforcement Learning (TT-MBRL), using gradient descent at test time to encode the memory of episode observations into world model parameters. This enables the agent to learn a distinct world model for each episode, improving memory capabilities compared to traditional approaches that solely rely on contextual memory. We first establish a proof of concept on a simplified two-dimensional variant of the Memory Maze environment, which we refer to as Memory Maze 2D, showing consistent improvements across different world model architectures. We then demonstrate the effectiveness of TT-MBRL in the 3D domain, achieving new state-of-the-art results on the Memory Maze benchmark. Finally, we show that TT-MBRL maintains strong performance on non-memory benchmarks such as DeepMind Control and Atari 100k.

arXivで原文を読む →arXiv概要ページ

テスト時モデルベース強化学習による世界モデルへの記憶の符号化

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事