世界モデルの内部表現、線形に解読可能 解釈可能性研究が示す構造

何が起きたか

arxiv.orgに2026年3月23日付で掲載された研究（論文ID: 2603.21546v1）は、強化学習用の世界モデルIRIS（離散トークンTransformer）とDIAMOND（連続拡散UNet）をAtariのBreakoutとPongで訓練し、その内部表現を解釈可能性手法（線形・非線形プロービング、因果介入、注意解析）で分析した。その結果、両モデルともゲーム状態変数（物体位置、スコア）を線形に解読可能な表現として保持していることが分かった。

詳細

研究では、線形プローブを用いて、両モデルがゲーム状態変数（物体位置、スコア）を線形に解読可能な表現として保持していることを発見した。MLPプローブではR^2がわずかに向上するだけで、表現がほぼ線形であることが確認された。因果介入（プローブ由来の方向に隠れ状態をシフト）により、モデルの予測に相関した変化が生じ、表現が単なる相関ではなく機能的に使用されていることが示された。IRISの注意ヘッド解析では、特定のヘッドがゲームオブジェクトと重なるトークンに優先的に注意を向ける空間的特化が明らかになった。複数ベースラインのトークンアブレーション実験では、オブジェクトを含むトークンが不釣り合いに重要であることが一貫して示された。

Key Facts

本紙の見方

今回の研究は、世界モデルの内部表現に関する解釈可能性の証拠を提供する点で新規性がある。従来の世界モデル研究は性能向上に焦点を当ててきたが、内部表現の構造を直接分析した例は限られる。特に、線形プローブで高い解読可能性が確認されたことは、世界モデルが環境状態を効率的に符号化していることを示唆する。また、因果介入により表現が機能的に使用されていることが示された点は、単なる相関ではなく実際の予測に寄与していることを意味し、モデルの信頼性向上につながる可能性がある。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、世界モデルの解釈可能性は、強化学習のサンプル効率向上や安全性確保の観点から重要なテーマである。今回の結果は、世界モデルが環境の構造を学習する際に、線形表現を獲得するという一般的な傾向を示唆しており、今後のモデル設計に影響を与える可能性がある。 業界構造への含意としては、世界モデルの内部表現が解釈可能であることは、モデルのデバッグや検証を容易にし、実世界応用（ロボティクス、自動運転など）での信頼性向上に寄与する。また、線形表現の発見は、モデルの転移学習やマルチタスク学習の効率化にもつながる可能性がある。一方で、今回の研究はAtariの2ゲームに限定されており、より複雑な環境での検証が今後の課題となる。 未確定の論点としては、線形表現が他の環境やモデルアーキテクチャでも普遍的に現れるかどうか、また、これらの表現がモデルの性能にどの程度寄与しているか（因果関係の強さ）が挙げられる。さらに、表現の線形性がモデルの汎化能力とどのように関連するかも今後の研究で明らかにすべき点である。

なぜ重要か

世界モデルの内部表現が線形に解読可能であることは、強化学習エージェントの意思決定プロセスの透明性を高め、安全性や信頼性の向上につながる。また、この発見は、世界モデルの設計や訓練方法に新たな指針を与え、より解釈可能で効率的なAIシステムの開発を促進する可能性がある。