CaliBench、動画世界モデル6種を評価　9場面で物理的校正を検証

何が起きたか

arxiv.orgで2026-08-17に公表された論文は、CaliBenchを提案した。対象は9つの場面と6つの動画生成モデルで、WAN-2.7、SeeDance-2.0、HappyHorse-1.0、Veo 3.1、Runway Gen-4.5、Cosmos3-Superを各32回ずつ評価した。ベンチマークは、サイコロの目やカードのスート、コインの色のような離散的結果空間で、参照分布からのずれを直接測る設計である。

詳細

論文は、binomial Galton boards、Bernoulli forks、uniform dice/cards/lottery、skewed European-roulette colourという、閉形式で参照分布が分かる結果空間を作り、各生成結果をbin index、die face、suit、colourのような物理的に解釈しやすい離散値へ割り当てる。これにより、学習済み特徴空間ではなく、参照分布との距離を直接比較できるとしている。 性能はscorabilityとcalibrationの2軸に分解される。前者は採点可能な生成の割合、後者はその採点対象における参照分布とのtotal variation distanceである。論文はchi-squared testで有意性を評価し、mnTV(mean normalised total variation)を新しい比較指標として公開している。

Key Facts

本紙の見方

CaliBenchの新しさは、動画世界モデルの評価を「当たったかどうか」から、離散化した物理結果の分布がどれだけ参照分布に一致するかへ移した点にある。既存のベンチマークは個々の生成結果やデータセット全体の粗い分布差に寄りがちだったが、本論文はbin indexやdie face、suit、colourのような結果空間を設計し、scorabilityとcalibrationを分けた。ここで重要なのは、単に生成できたかではなく、採点可能な結果を出したうえで、その確率質量の置き方が物理的に妥当かを問う構造にある。 本紙の見方としては、これは動画生成の「見た目の自然さ」より、確率校正を前面に出した評価軸の提案だと整理できる。論文は9場面・6モデル・各32生成という小さくはない比較を行い、いくつかの組み合わせでは一つの結果に収束する極端な偏りも観測した。とくにVeo 3.1がdiceで1つの結果に崩れる例は、モデルの挙動が場面依存であり、単一の総合点ではその差を隠してしまうことを示している。ここで「場面ごとに勝者が違う」ことは、モデル名の序列というより、入力条件に応じた失敗様式の違いを読ませる。 業界構造への含意は、評価の単位がモデル単体から「シーン×結果空間×校正誤差」へ細分化される点にある。Runway Gen-4.5、Veo 3.1、WAN-2.7、SeeDance-2.0、HappyHorse-1.0、Cosmos3-Superの比較は、生成品質を一括で語る時代から、どの現象でどの程度の分布再現が崩れるかを測る方向に移ることを示す。これが広がれば、学習データの偏り、評価用プロンプト設計、さらには安全性確認でも、単発サンプルの印象ではなく分布の歪みが論点になる可能性がある。 未確定の論点は、mnTVが他のベンチマークや実運用の下流タスクとどう接続されるか、N=32 per cellという条件でどこまで細かな偏差を検出できるか、そして結果空間の設計が別の物理現象へどこまで一般化できるかである。論文は「calibrationはnull hypothesisとしてmiscalibrationしか示せない」としており、どの程度の偏りを実用上の問題とみなすかは、今後の検証が必要だとみられる。

なぜ重要か

動画生成モデルを使う側にとっては、見た目の一貫性だけでなく、確率的な振る舞いが参照現象に合うかが確認対象になる。論文は6モデルを9場面で比べ、多くの組み合わせで不整合を示したため、評価や選定の際に単一スコアだけでは足りないことを示唆する。 また、CaliBenchは閉形式で参照分布が分かる結果空間を使うため、物理現象の校正を検査する枠組みとして再利用しやすい。モデル開発側は、どの場面で分布が崩れるかを切り分けて見る必要がある。