日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2610.41041

適応の前に：継続的世界モデルにおけるゼロショット汎化のボトルネック

Before We Adapt: The Zero-Shot Generalization Bottleneck in Continual World Models

シェア:XThreadsFacebookLINEはてブBluesky

継続的強化学習で世界モデルを再利用する際、物理的文脈が変わるとゼロショット性能が大きく劣化し、その度合いは観測表現に強く依存することを実験的に示した研究。

詳しい要約

1. どんなもの？

- 継続強化学習 (CRL) における model-based reinforcement learning の枠組みで、学習済み world model (WM) の再利用可能性を扱う研究。 - 環境変化を behavioral と physical の context に分解した contextual Markov decision process として定式化。 - これを reuse・adaptation・acquisition の3段階に整理し、まず behavioral rules 不変下での direct reuse (zero-shot reuse) に着目。

2. 先行研究と比べてどこがすごい？

- WM が change detection・knowledge reuse・adaptation・新知識獲得を原理的に支え得る点を CRL の有望枠組みとして位置づけ。 - 従来の CRL 議論に対し、context を behavioral/physical に分解する定式化を提案し、reuse を独立に検証する枠組みを与えた。 - zero-shot reuse が physical-context 変化で大きく劣化し得ることを実験的に示した点が新規。

3. 技術・手法の肝は？

- contextual Markov decision process で context を behavioral と physical に分解し、reuse/adaptation/acquisition に整理。 - 第一段階として behavioral rules 不変の direct reuse を検証。 - Dyna-Q と TD-MPC を controlled FourRooms タスクで用い、observation representation の違いによる影響を比較。 - ablation studies と latent-space diagnostics で表現の性質を分析。

4. どうやって有効だと検証した？

- Dyna-Q と TD-MPC を controlled FourRooms タスクで評価。 - physical-context 変化下で zero-shot reuse が大きく劣化することを確認。 - 劣化の度合いが WM の observation representation に強く依存することを示す。 - ablation studies と latent-space diagnostics により、学習表現が reuse に必要な invariances を自動的に備えないことを示唆。

5. 議論はある？

- 学習済み表現が reuse に必要な invariances を自動的に獲得しない点を、CRL における representation generalization のボトルネックとして指摘。 - zero-shot reuse の限界は observation representation に強く依存し、WM の信頼性ある再利用には表現の一般化が重要という議論。 - adaptation や acquisition 段階の検証は本研究の範囲外(要旨からは不明)。

6. 次に読むべき論文は？

- 本論文で比較/使用された Dyna-Q および TD-MPC の原論文。 - contextual Markov decision process および CRL の関連研究。 - world model の representation learning と generalization/invariance に関する研究。 - FourRooms を用いた継続学習・転移学習のベンチマーク研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amir Mesbah, Di Wu

分類: cs.LG

原文アブストラクト

Continual reinforcement learning (CRL) requires agents to operate under environmental changes while reusing prior knowledge whenever possible. We argue that model-based reinforcement learning provides a promising framework for this setting because learned world models (WMs) can, in principle, support change detection, knowledge reuse, adaptation, and acquisition of new knowledge. However, such benefits depend heavily on whether the learned model can generalize beyond the contexts in which it was trained. In this work, we propose to formulate this problem with a contextual Markov decision process in which context is decomposed into behavioral and physical components. This view organizes continual WM learning into reuse, adaptation, and acquisition of new knowledge. As a first step, we study direct reuse when behavioral rules remain unchanged. Using Dyna-Q and TD-MPC in controlled FourRooms tasks, we find that zero-shot reuse can degrade substantially under physical-context changes and that this behavior depends strongly on the observation representation used by the WM. Additional ablation studies and latent-space diagnostics suggest that learned representations do not automatically provide the invariances needed for reuse. These results identify representation generalization as an important bottleneck for reliable world-model reuse in CRL.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI