言語条件付き世界モデルの統合ベンチマークと選択的想像エージェント

- 言語条件付き world model の統合タスク LCWM とベンチマーク LCWM-Bench を提案する研究。 - LCWM は初期の agent-view 観測と言語指示を入力し、指示を満たす action sequence を出力するタスク。 - LCWM-Bench は navigation・robotics・3D gaming・driving の 15 datasets を共通 action interface と評価プロトコルで統合。 - 142,987 episodes に 3 スタイルの 428,961 instructions を対応付ける。 - 併せて agent の Tiresias を提案。 - selective imagination により計画を行う。 - LCWM-Bench 上で競争力のある planning・imagination 性能を示す。

- 従来、language-conditioned world modeling は domain ごとに action space・datasets・評価プロトコルが異なり分断されていた。 - 本研究は navigation・robotics・3D gaming・driving を共通 action interface と評価プロトコルの下で統合。 - 15 datasets、142,987 episodes、428,961 instructions を一つの benchmark にまとめる点が特徴。 - 計画手法として trajectory 提案と visual imagination を組み合わせる Tiresias を提示。 - trajectory ranking と visual verification の相補的効果を ablation で示す。 - 学習済み ranker が diffusion policy 以外の提案手法にも有効であることを示す。 - 具体的な先行研究名との比較は要旨からは不明。

- Tiresias は selective imagination により計画する agent。 - まず language-conditioned diffusion policy が候補 trajectory を生成。 - trajectory ranker が候補を shortlist する。 - video-pretrained world model が shortlist された trajectory の視覚的帰結を imagine する。 - visual ranker が rollouts を評価し、trajectory score と補完して最終 plan を選択。 - LCWM-Bench は共通 action interface と評価プロトコルを定義。 - 複数 domain の datasets を同一形式で扱う。 - 3 スタイルの言語指示を付与。 - 提案手法の詳細な architecture・学習手順は要旨からは不明。

- LCWM-Bench 上で Tiresias の planning と imagination 性能を評価。 - 競争力のある性能を達成したと報告。 - Ablation により trajectory ranking と visual verification の相補的利点を検証。 - 代替の proposal 手法を用いた実験により、学習済み ranker が diffusion policy 以外でも有効であることを確認。 - 具体的な比較対象・指標・数値は要旨からは不明。

- trajectory ranking と visual verification が相補的に寄与することを ablation で議論。 - 学習済み ranker が diffusion policy 以外の proposal 手法にも汎化する点を議論。 - LCWM-Bench と Tiresias が language-guided planning through world models の統一評価基盤と出発点になると位置づけ。 - 限界・失敗事例・計算コスト・データ bias など具体的な議論は要旨からは不明。

- 要旨で明示的に参照・比較されている個別論文は不明。 - 関連手法として以下が挙げられる。 - language-conditioned diffusion policy - video-pretrained world model - trajectory ranker / visual ranker - selective imagination による planning - 同分野の定番として world models、language-conditioned planning、diffusion policy、video pretraining に関する研究を次に読む候補として挙げる。