世界モデル2026/8/30arXiv:2608.29998v1

潜在世界モデルにおける介入ギャップ

The Intervention Gap in Latent World Models

学習された世界モデルが、環境への介入と同様の効果をタスク変数に与えるかどうかを評価する「介入忠実度」という指標を提案し、既存のモデルでは報酬予測誤差が小さくても介入効果が不正確であることを示した。

詳しい要約

1. どんなもの？

本論文は、学習された世界モデルにおける「介入忠実度（intervention fidelity）」という新たな特性を定義し、計測する。これは、モデル自身のオープンループ遷移が、対応する環境介入と同様にタスク変数を動かすかどうかを示す。著者らは、この特性が報酬予測誤差やタスクアンカー学習では保証されないことを示し、介入忠実度を直接監査する手法を提案する。

2. 先行研究と比べてどこがすごい？

従来の世界モデル評価は報酬予測やタスク達成度に焦点を当てていたが、本論文は計画時の介入忠実度という独立した特性を導入し、それが報酬フィットやタスクアンカー学習では明らかにならないことを示す。特に、TD-MPC2のチェックポイントでエピソードリターンが低下する一方で報酬予測誤差は小さいままであることから、従来の指標では捉えられない失敗を特定する。

3. 技術・手法の肝は？

手法の核は、キャプチャゲート付きマッチド介入監査（capture-gated matched-intervention audit）である。これは、モデルの内部状態が現在のタスククエリを捕捉しているかを確認し、その上で実際の介入効果とモデルの想像上の効果を比較する。また、タスクアンカー学習と自己教師あり学習の比較、およびDreamerV3における後方分布とアンサンブル不一致の分析を含む。

4. どうやって有効だと検証した？

検証は、TD-MPC2の複数チェックポイントサイズ、Cheetah環境、Finger Spin実験、DreamerV3の転移学習設定で行った。具体的には、エピソードリターンとオペレーターエラー診断の相関、報酬予測誤差の平坦性、自己教師ありモデルとの比較、介入効果のデコード可能性、5ステップ効果の予測精度、およびアンサンブル不一致のランキング性能を評価した。

5. 議論はある？

議論として、介入忠実度の欠如はタスク方向の回転と過剰ゲインによるものであり、特徴崩壊ではないことが示された。また、この深刻なパターンは条件付きであり、PreJEPAシードでは見られず、Finger Spinでは不均一な重症度が見られた。さらに、共有バンク効果の幾何学は候補とサポートに依存する。実践面では、DreamerV3の後方分布がクエリを保持し、アンサンブル不一致は訓練サポート近傍でのみ誤差をランク付けする。

6. 次に読むべき論文は？

要旨で参照されている研究には、TD-MPC2、PreJEPA、DreamerV3が含まれる。次に読むべき論文としては、これらのモデルの詳細な手法を説明した原著論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Donna Vakalis

分類: cs.LG

原文アブストラクト

Planning-time intervention fidelity is a distinct, measurable property of a learned world model: whether the model's own open-loop transitions move task variables the way matched environment interventions do. In the settings we test, it is neither revealed by reward fit nor ensured by task-anchored training. Across released TD-MPC2 checkpoint sizes, episode return falls as an operator-error diagnostic on task observables grows, while reward-prediction error stays small and nearly flat, and a self-supervised world model trained without task signal preserves the same operator substantially better than a task-anchored model on the shared task. A capture-gated matched-intervention audit then localizes what fails. On Cheetah, three LeWorldModel checkpoints capture the current task query and support decodable real intervention effects; however, their imagined five-step effects are worse than predicting no effect and worse than an environment-endpoint oracle. The failure is task-direction rotation with excess gain, not feature collapse. This severe pattern is conditional: five PreJEPA seeds retain an oracle-relative deficit without it, Finger Spin experiments extend the deficit beyond locomotion with heterogeneous severity across seeds, and shared-bank effect geometry is both candidate- and support-dependent. We also test practice-side questions. In DreamerV3 the posterior distribution, not its sample, carries the current query; ensemble disagreement ranks error only near training support; and a frozen support-aware score degrades held-out error ranking in both tested transfer directions while native disagreement remains informative in both. We conclude that intervention fidelity must be audited directly, capture-first, on the model's native interface.

arXivで原文を読む →arXiv概要ページ