部屋を読む：リカレントワールドモデルの状態における暗黙の混乱エンコーディング

本論文は、RSSMアーキテクチャに基づくWorld Models（例：DreamerV3）のrecurrent hidden state $h_t$が、予測誤差を減らすように訓練される一方で、自身の「混乱（confusion）」を暗黙的に追跡していることを示す。この信号は$h_t$の最大分散方向とほぼ直交しており、分散ベースの手法では見えない。線形プローブにより検出可能で、因果的に利用可能であることを示す。

先行研究では、モデルの不確実性をensemble disagreement（新規入力の検出）やreconstruction error（現在の悪い予測の検出）で測ることが一般的だが、本論文はこれらと機能的に異なる「混乱」の信号が$h_t$に存在することを示す。特に、予測誤差を固定し混乱だけを変化させたテストで、線形プローブがAUROC 0.72を達成する一方、ensemble baselineはチャンスレベル以下となる点が新しい。

手法の肝は、$h_t$の分散が大きい方向ではなく、それと直交する方向に混乱の信号が埋め込まれていることを見出した点。線形プローブを用いて$h_t$から混乱を読み取り、さらに混乱のclosed formとして「最近の高誤差ステップの割引カウント」がプローブ出力の80%を説明する（$R^2=0.80$）ことを示す。また、$h_t$を直接編集して行動が変化することを確認し、因果利用を検証する。

有効性の検証は、予測誤差を固定し混乱を変化させたテストで線形プローブのAUROC 0.72（5 runs）を達成し、ensemble baselineがチャンス以下であることを示した。さらに、$h_t$の編集による行動変化の確認、実軌道の値を使った編集も行った。幾何学的性質とclosed formは3つの制御タスクで一般化するが、決定的な解離テストは1つのタスクでのみ明確に成立し、実用的利用（想像ではなく現実を確認するタイミング）は2つのタスクでのみ一般化した。

議論として、混乱の信号は$h_t$の分散の大きな方向と直交するため、分散ベースの手法では検出できない点が挙げられる。また、ensemble disagreementやreconstruction errorとは機能的に異なることが示されたが、決定的な解離テストが1つのタスクでのみ明確に成立したため、一般化には限界がある。実用的利用も2つのタスクに限られ、3つ目では機能しない。要旨からは、この信号の理論的意味や他のアーキテクチャでの有効性は不明。

要旨で参照されている関連研究として、RSSMアーキテクチャに基づくDreamerV3、ensemble disagreement、reconstruction errorを用いた不確実性推定手法が挙げられる。次に読むべき論文としては、これらの手法の詳細を扱った論文や、World Modelsにおける不確実性の利用に関する研究が考えられる。