CausalAlign: 映像生成モデルの自己運動を一貫させる因果的アライメント

- 拡散ベースの video generation models (VGMs) が長い horizon で camera ego-motion が drift する問題に対処する研究。 - CausalAlign と呼ぶ causal alignment framework を提案。 - 第1部: linear probes と causal interventions で VGM 内部の ego-motion 表現を診断。 - 第2部: 特定 layer の表現を 3D foundation model に delta-token space 経由で align し ego-motion state を強化。 - Wan2.2 を DL3DV と RealEstate10K で fine-tune して評価。

- 従来の VGM は視覚的に plausible な video を作れても ego-motion が長 horizon で drift する。 - 本研究は ego-motion を単なる出力品質でなく内部表現として診断し、causal intervention で役割を特定する点が新しい。 - delta-token space で連続 frame 間の変化に着目し、static scene content でなく ego-motion dynamics に alignment を集中させる点が先行手法と異なる。 - 具体的な比較対象の先行研究名は要旨からは不明。

- 診断フェーズ: linear probes と causal interventions を用い、VGM 内で ego-motion がどう表現・利用・保持されるかを分析。denoising 中に rise-and-fall pattern があることを発見。 - 強化フェーズ: 同定した layer の表現を 3D foundation model に delta-token space 経由で align。 - delta-token space は連続 frame 間の変化を符号化し、ego-motion dynamics に焦点を当てた alignment を可能にする。 - base model は Wan2.2、fine-tune データは DL3DV と RealEstate10K。

- Wan2.2 を DL3DV と RealEstate10K で fine-tune し、motion accuracy・geometric consistency・temporal smoothness を評価。visual quality の保持も確認。 - geometric consistency は base model 比で 20% 以上改善。 - fine-tune 済み VGM を用い、RoboCasa365 benchmark の mobile manipulation タスクで world action models (WAMs) の success rate を 10 point 改善。

- 要旨からは不明。 - 明示されている範囲では、visual quality を保ちつつ ego-motion 一貫性と embodied model 性能を向上させたと主張。 - 限界や失敗ケース、計算コスト、汎化性に関する議論は要旨からは不明。

- 要旨で参照/比較されている研究: Wan2.2、DL3DV、RealEstate10K、RoboCasa365、world action models (WAMs)。 - 関連手法として 3D foundation model および delta-token space が挙げられるが、具体的な論文名は要旨からは不明。 - 同分野の定番として diffusion-based video generation models (VGMs) や camera ego-motion 推定に関する研究を次に読む候補として挙げられる。