StarWM: 自己教師あり学習による注意ルーティングで頑健な世界モデルを実現

StarWMは、視覚ベースのworld modelにおいて、環境のダイナミクスを忠実に捉えつつタスクに無関係な内容を抽象化するバランスを取る手法。 - 再構成ベースのworld modelは忠実な監督を与えるが、ピクセル面積に応じて表現容量を配分し、ダイナミクス関連性を無視するバイアスがある。 - 再構成フリーの手法はこのバイアスを避けるが、関連情報を捨てるリスクがある。 - StarWMはself-supervised dynamicsで訓練されたcross-attention moduleを用いて再構成を適用する領域を決定する。 - dual-stream decoderで再構成をattended regionsに限定し、stop-gradient barriersで2つの目的間の干渉を防ぐ。 - これにより、attended regionsの視覚内容を再構成で監督しつつ、非予測的情報でlatentを汚染しない。

再構成ベースのworld modelと再構成フリーの手法の欠点を克服する点がすごい。 - 再構成ベースはピクセル面積に基づく容量配分バイアスがあり、タスク無関係な内容が表現を支配しうる。 - 再構成フリーは関連情報を捨てるリスクがある。 - StarWMはself-supervised dynamicsで訓練されたcross-attentionで再構成領域を選択し、両者の利点を統合。 - DeepMind Controlの動的ビデオ背景で、デフォルト（報酬なし）StarWMはrandom-frame distractors下で最強性能、sequential videoで再構成ベースベースラインを大幅に上回る。 - 報酬拡張版はsequential videoで再構成フリー手法に匹敵または上回り、全distractor regimesで最高の総合リターンを達成。

技術の肝は、self-supervised dynamicsで訓練されたcross-attention moduleによる再構成領域の選択と、dual-stream decoderによる再構成の制限、stop-gradient barriersによる目的間干渉の防止。 - cross-attention moduleがどこで再構成を適用するかを決定。 - dual-stream decoderがattended regionsに再構成を限定。 - stop-gradient barriersが2つの目的（再構成とdynamics）間の干渉を防ぐ。 - これにより、attended regionsの視覚内容を再構成で監督しつつ、非予測的情報でlatentを汚染しない。 - 結果として、state attributesを長期horizon imaginationを通じてほぼ完全に保持し、distractorsを体系的に破棄。

DeepMind Control with dynamic video backgroundsで検証。 - デフォルト（報酬なし）StarWMはrandom-frame distractors下で最強性能。 - sequential videoで再構成ベースベースラインを大幅に上回る。 - 報酬拡張版はsequential videoで再構成フリー手法に匹敵または上回り、全distractor regimesで最高の総合リターン。 - Mechanistic probingにより、StarWMがstate attributesを長期horizon imaginationを通じてほぼ完全に保持し、distractorsを体系的に破棄することを確認。

要旨からは不明。 - 議論や限界についての記述は要旨に含まれていない。 - 今後の課題や適用範囲の制約などは明示されていない。

要旨で参照/比較されている研究や関連手法を挙げる。 - 再構成ベースのworld model（reconstruction-based world models） - 再構成フリーの手法（reconstruction-free methods） - DeepMind Control with dynamic video backgrounds - cross-attention module - dual-stream decoder - stop-gradient barriers - 同分野の定番として、DreamerやPlaNetなどのworld model手法が関連する可能性があるが、要旨では明示されていない。