WanderBench：動画から動的世界を探索する世界モデルのベンチマーク

- 入力動画を条件として、記録済みの実世界の動的シーンを探索できる video world model のためのベンチマーク。 - 名称は WanderBench。実写および AI 生成の単一ショット動画 745 本を含む。 - 難易度 3 段階(3〜25 秒)で構成され、カメラ経路を keyboard actions として与える。 - 6 次元・24 個の human-validated な sub-metrics で評価する。 - 用途として re-shooting、free-viewpoint replay、real-to-sim 環境を想定。

- 既存 benchmark は単一画像や text prompt を起点とするものが中心。 - video-conditioned 生成の評価は主に perceptual quality と camera following に限られていた。 - WanderBench は探索時に subject identity、event progression、再訪時の scene consistency が保たれるかを直接評価する点が新しい。 - 動画を起点に動的シーンを探索する設定そのものを benchmark 化している。

- 745 本の single-shot source videos(実写・AI 生成)と、keyboard actions 形式の camera routes を対にする。 - 6 次元・24 sub-metrics の評価体系を human validation 付きで設計。 - 8 モデルを benchmark 上で比較評価。 - 併せて WanderLand を提案。training-free framework で、frozen model の各フレームを同一時刻の source に条件付け、再訪時には自身の以前の静的コンテンツに条件付ける。

- 8 モデルの benchmark 評価により、clip が長くなると静的 scene と visual quality は保たれるが camera control と source dynamics を失うことを示す。 - どのモデルも再訪地点の consistency を保てないことを報告。 - WanderLand は 5 モデルで全次元を改善し、source-dynamics fidelity で最大 8.3 points 向上。 - sub-metrics は human-validated と記載。

- 長尺化に伴う camera control と source dynamics の劣化が主要な課題として示唆される。 - 再訪時の scene consistency は現行モデルでは未解決。 - WanderLand は training-free で改善するが、対象は 5 モデルでの評価に留まる。 - 詳細な議論や限界は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として video world models、video-conditioned generation、camera control を用いる生成モデル、real-to-sim 向け world model を挙げる。 - 具体的な論文名は要旨からは不明。