コスト勾配による視覚ワールドモデルのスパースプランニング

トークンベースの world model における空間トークン選択手法 COSTGRAD を提案する研究。 - 目的: 大規模な spatial token grid を毎回処理する action search の計算コストを削減する。 - 特徴: training-free かつ goal-conditioned な selector で、planning cost の各入力トークンに対する gradient norm でトークンをランク付けする。 - 対象: 連続制御ベンチマークでの latent planning。

予測ではなく planning に効くトークンを選ぶ点が新しい。 - 従来のトークン選択は prediction 目的の重要度に基づくことが多いが、COSTGRAD は下流の control objective から重要度を導出する。 - 50% sparsity の AdaLN-conditioned predictor で、4 ベンチマーク中 3 つで full-token planning と同等以上。 - 環境あたりの planning step で 2.6× の wall-clock speedup を実測。 - token sparsity と CEM search 削減を組み合わせると約 5× の total speedup を達成し、full-token baseline を上回る。

planning cost の入力トークンに対する gradient norm を重要度として使う。 - training-free で goal-conditioned な selector。 - 各 spatial token を cost gradient norm でランク付けし、上位のみを planning に用いる。 - AdaLN-conditioned predictor を主対象とし、token sparsity と CEM search 削減を組み合わせ可能。 - 詳細なアルゴリズムやハイパーパラメータは要旨からは不明。

4 つの連続制御ベンチマークで評価。 - AdaLN-conditioned predictor、50% sparsity で full-token planning と比較し、4 中 3 で同等以上。 - planning step あたり 2.6× の wall-clock speedup を測定。 - token sparsity と CEM search 削減の併用で約 5× の total speedup を確認。 - AdaLN vs concat の比較で、concat では pure COSTGRAD が random selection に対する優位を失う failure mode を同定。 - action-pathway drift を指標に、AdaLN では gradient-selected removal が random removal より drift が小さいが、concat では逆に大きいことを確認。

selector と architecture の相性が sparse world-model planning の設計軸であると指摘。 - AdaLN では COSTGRAD が有効だが、concat では full-token 性能は同等でも COSTGRAD の優位が失われる。 - この差は action-pathway drift と対応する。 - 限界や一般化可能性、他の architecture への適用性は要旨からは不明。

要旨で参照・比較されている研究や関連手法。 - AdaLN-conditioned predictors と concat の比較。 - CEM search。 - token-based world models。 - 関連する sparse planning や token selection の研究（具体的な論文名は要旨からは不明）。