明晰夢を見る世界モデル：想像を疑い、信頼で意思決定する学習

- 提案手法は Lucid World Model (LucidWM) と呼ばれる。 - World model 内の imagination における予測の不確実性を扱う。 - 経験から doubt を学習し、imagination を通じて trust を伝播させる。 - Subjective Logic を categorical latent transition に統合する。 - 予測結果とその evidential support を区別し、各 transition に doubt の度合いを割り当てる。 - doubt の補数を transition-level trust と定義する。 - trust は imagined trajectory に沿って乗算的に蓄積され、return の再重み付けと行動選択に使われる。

- 既存の uncertainty estimate は prediction から導出され、未知の state-action pair で過信 (overconfident) になる可能性がある。 - LucidWM は経験から doubt を学習し、imagination を通じて trust を伝播させる点が異なる。 - Subjective Logic を categorical latent transition に統合し、予測結果と evidential support を区別する。 - 不確実性推定に追加のパラメータや forward pass を必要としない。 - 4つの base world model と17の uncertainty readout で評価され、環境変化の検出や action-corrupted rollout での不確実性シグナルを示す。

- Subjective Logic を categorical latent transition に統合する。 - 予測結果とその evidential support を区別し、各 transition に doubt の度合いを割り当てる。 - doubt の補数を transition-level trust と定義する。 - trust は imagined trajectory に沿って乗算的に蓄積される。 - 蓄積された trust で return を再重み付けし、policy learning と action selection を導く。 - 不確実性推定に追加のパラメータや forward pass は不要。

- 4つの base world model に対して17の uncertainty readout で評価した。 - LucidWM は環境変化を検出し、action-corrupted rollout 中に不確実性をシグナルする。 - 制御された navigation case study で、trust に基づく行動により goal 到達に必要な step 数が362から190に減少した。 - 15本の demonstration video で LucidWM が自らの dream を疑い、その doubt に基づいて行動する様子を示す。 - 動画は https://lucidwm.github.io で公開されている。

- 要旨からは不明。 - ただし、既存の uncertainty estimate が未知の state-action pair で過信になる問題を指摘している。 - LucidWM が doubt を学習し trust を伝播させることで、その問題に対処することを主張している。 - 追加のパラメータや forward pass が不要である点を利点として述べている。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Subjective Logic が挙げられる。 - 同分野の定番として world model を用いた model-based reinforcement learning (例: Dreamer, PlaNet) や uncertainty estimation に関する研究が考えられる。