対話型ワールドモデルのための動画オートエンコーダ再考

- Video world model は過去フレームと action から将来フレームを予測し、agent の訓練・planning・評価や人間の対話的操作に使う simulator。 - 生成は video autoencoder の latent space で行われ、その圧縮率が1フレームあたりのコストと action 反映までの遅延を決める。 - 本論文は「world model はどこで・どの程度圧縮すべきか」を問い、複数の時空間圧縮を持つ causal diffusion representation autoencoder 群 CADRE を構築。 - manipulation と navigation の2ドメイン各2環境で同一 world model を各 autoencoder 上で訓練し、latency-quality frontier を分析する研究。

- 既存 world model は text-to-video generator 用 autoencoder を流用しており、offline 生成向けで待ち時間を考慮せず、学習データやコードが無いため別の圧縮率で再学習できない。 - CADRE は open な autoencoder family として、複数の spatio-temporal 圧縮を同一設計で比較可能にした点が新しい。 - 各 member は frozen features 上の小さな bottleneck のみが異なり、1〜数 step に self-distill した diffusion decoder を共有する。 - これにより圧縮率と遅延・品質のトレードオフを、同一 world model で系統的に検証できる。

- CADRE は causal diffusion representation autoencoder の family で、複数の spatio-temporal compression をカバー。 - member 間の違いは frozen features 上に置いた小さな bottleneck のみ。 - diffusion decoder は self-distillation により 1 step または少数 step の生成に圧縮。 - 同一の world model を各 autoencoder 上で、manipulation と navigation の各2環境、計2ドメインで訓練。 - 圧縮の空間方向・時間方向の配分を変え、latency と quality の frontier を測定。

- manipulation と navigation の2ドメイン、それぞれ2環境で、同一 world model を各 CADRE autoencoder 上で訓練し比較。 - CADRE が latency-quality frontier の大部分を形成することを示す。特に moving camera で有効。 - 強い圧縮では diffusion decoder が perceptual regression より sharp であることを確認。 - robot manipulation では temporal compression が world model 側より autoencoder 側で有効。 - manipulation と navigation は逆の圧縮を要求し、静止カメラでは temporal compression のコストが小さく、移動カメラでは spatial compression のコストが小さい。 - 静止カメラでは粗い spatial token が画質より motion を大きく損なうことを確認。

- world model の圧縮設計はドメイン依存で、manipulation と navigation では最適な時空間圧縮が逆になる。 - 強い圧縮下では diffusion decoder の方が perceptual regression より sharp だが、その代償や限界は要旨からは不明。 - 静止カメラで粗い spatial token が motion を大きく損なう知見は、圧縮率だけでなく token 設計の重要性を示す。 - 遅延と品質の frontier における CADRE の位置づけは示されるが、実ロボットでの対話的運用評価は要旨からは不明。 - 学習データ・コード非公開の既存 autoencoder 流用への批判は、再現性と再学習可能性の議論につながる。

- 既存の text-to-video generator 用 video autoencoder（例: 一般的な VAE 系 video tokenizer）との比較。 - perceptual regression ベースの decoder と diffusion decoder の比較研究。 - world model における temporal compression と spatial compression の設計を扱う研究。 - manipulation 向け world model と navigation 向け world model の圧縮設計に関する研究。 - causal video autoencoder や self-distilled diffusion decoder の関連手法。