動力学ランダム化はいつ文脈推論を試すのか

- ランダム化されたダイナミクスを持つ環境で、world model に明示的な context inference が本当に必要かを問う研究。 - 訪問済み状態における遷移の予測情報量を predictive headroom として定式化し、context encoder が追加できる情報の残存量を測る。 - 離散・連続環境の両方を分析対象とする。

- 従来は randomized dynamics 環境を context inference の必要性検証に広く用いてきた。 - 本研究は、ランダム化が context encoder に追加の予測情報をほとんど残さない場合があることを示す。 - カーネル比較を固定分布と訪問分布で行い、query coverage の変化と context weights の変化を切り分ける点が新しい。

- 一段先の残存情報を predictive headroom として定式化する。 - 固定された state-action 分布と訪問された state-action 分布の下でカーネルを比較する。 - これにより query coverage の変化と context weights の変化を区別する。 - 離散・連続環境で分析し、state 成分の reset が headroom を増やすことを確認する。

- 離散環境と連続環境の両方で predictive headroom を分析。 - カーネル間の差が小さい場合と、訪問により大きな乖離が縮小する場合の双方で低い headroom を確認。 - state 成分を reset すると headroom が増加することを示し、context evidence が state に蓄積されることを検証。

- ランダム化パラメータと併せて predictive headroom を報告すべきと提案。 - 明示的 context inference による利得を、現在の state と action から欠けている情報との相対で解釈可能にする。 - 具体的な限界や反論については要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として world models、context inference、randomized dynamics を用いた先行研究群、および predictive headroom の定式化に関わる情報理論的解析を挙げる。 - 同分野の定番として model-based RL における system identification や latent context encoder の研究を参照すべき。