デュエリング・ワールドモデル：コモンモード外乱除去のためのアドバンテージ型アクションチャネル

本論文は、潜在世界モデル（latent world models）における行動条件付き予測が、エージェントが制御しない動き（common-mode distractors）によって行動盲（action-blind）になる問題に対し、dueling decomposition（価値の状態ベースラインと行動アドバンテージへの分解）から着想を得た、最小限の手法を提案する。具体的には、潜在ダイナミクスにおいて、予測の行動に対する平均効果を差し引くことで、行動に依存しない変動（distractorsが存在する場所）を除去し、クリーンで制御可能なチャネル（action channel）を抽出する。この手法は、報酬や再構成、補助損失を一切使わず、読み出し時の減算のみで実現されるため、任意の行動条件付き世界モデル（事前学習済みの凍結モデルを含む）にそのまま適用可能である。

既存の手法は、distractionを抑制するために再構成（reconstruction）、タスク報酬（task reward）、または補助目的（auxiliary objectives）を追加しており、それぞれ追加の機構や仮定を必要とする。これに対し、本手法はそれらを一切使わず、単純な減算のみで行動チャネルを分離できる点が優れている。さらに、読み出し時の操作のみで済むため、事前学習済みのモデルにも後付けで適用でき、既存のraw readoutでは見逃される行動チャネルを表面化できる。また、有限サンプルで離散およびサンプリングされた行動集合に対してキャンセレーションが正確に成り立つことを証明している点も理論的な貢献である。

手法の核心は、潜在世界モデルの予測を行動の関数として捉え、その平均効果を差し引くことにある。具体的には、行動条件付き予測から、全行動にわたる平均予測を減算することで、行動に共通する成分（action-independent variation）を除去し、行動に依存する成分（action advantage）を抽出する。これはdueling networkの分解に類似しており、価値関数を状態価値とアドバンテージに分けるのと同様の考え方を潜在ダイナミクスに適用する。この減算は読み出し時のみで行われ、モデルの学習プロセスには影響を与えないため、既存のモデルにそのまま適用できる。

検証は、gridworld、既知の因子を持つ合成生成器、distracting continuous control、自然ピクセルのAtariを含む複数の環境で行われた。分離されたチャネルは、絡み合った予測器が失敗する状況でもエージェント自身の効果を回復し、nuisance leakはゼロと区別できないことを示した。また、後付け適用により、オフ・ザ・シェルフのモデルでraw readoutが見逃す行動チャネルを表面化し、gridworldでは目標到達制御に変換できることを実証した。さらに、離散およびサンプリングされた行動集合に対して有限サンプルでのキャンセレーションの正確性を証明した。

議論として、本手法の限界が述べられている。特に、行動の動きを追跡するdistractors（motion tracks the action）に対してはキャンセレーションが不完全になる境界が存在し、その詳細は付録に記載されている。また、要旨からは、この手法がすべての状況で有効かどうか、また実世界の複雑な環境での適用可能性については不明である。さらに、減算によって失われる情報（行動に依存しないが制御に必要な情報）がある可能性も考えられるが、要旨では明示されていない。

次に読むべき論文は、要旨で参照されている既存のremediesに関する研究、すなわちreconstruction-based methods、task reward-based methods、auxiliary objectives-based methods、およびdueling network（Dueling DQN）の元論文が挙げられる。また、latent world modelsの基礎となるDreamerやWorld Modelsなどの関連研究も関連する。