DyMD、4ステップの動画世界モデル蒸留を提案 14B教師から1.3B学生へ

何が起きたか

arxiv.orgは2026年9月25日、論文「DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models」を公開した。論文は、14Bの教師モデルを4ステップの1.3B学生モデルへ蒸留し、推論時に追加モジュールを要しない手法を提案している。著者らは、Base DMDと比べてR-Benchのtask adherenceを9.6ポイント、PAI-Bench-G Domain scoreを5.1ポイント改善し、WorldArenaの2課題で平均成功率34%を達成したとしている。

詳細

論文は、Distribution Matching Distillation（DMD）が少ないステップでの動画生成を可能にする一方、robot--object motionを抑えやすいと指摘する。その上でDyMDは、teacher supervisionとcritic fittingの両方を学生モデルの状態に応じて調整する枠組みとして設計された。 具体的には、Temporal affinity--conditioned re-noise samplingで再ノイズのtimestep分布をロールアウトごとのinteraction fidelityに合わせて調整し、Dynamics-guided fake-score trackingでlatent temporal dynamicsから学習困難度を見積もって難しいロールアウトにcritic lossの重みを置く。これにより、教師のposteriorがmotion-deficientな軌道の近くに偏る問題と、強い動きを伴う軌道でfake-score fitting errorが大きくなる問題の両方に対処するとしている。

Key Facts

本紙の見方

DyMDの新規性は、単に少ステップ化した動画生成を示すだけでなく、動きの保存を蒸留の中心課題として扱った点にある。少ないステップでの生成は一般に計算負荷を下げるが、論文はDMDではvisual qualityを保ちながらrobot--object motionが弱まりうると明示しており、ここに対する補正を提案の核に置いている。つまり、圧縮の主眼が画質ではなく、相互作用を含む動きの忠実度に移っている。 構造として見ると、DyMDは教師の再ノイズ設計とcritic側の学習難易度推定を分けて制御する。Temporal affinity--conditioned re-noise samplingは、各ロールアウトのinteraction fidelityに応じて再ノイズの分布を変え、Dynamics-guided fake-score trackingは強い動きを含むロールアウトを学習上の難所として重く扱う。これは、入力の静止画像的な整合性を上げるだけでは不十分で、時間方向の整合性を別経路で守る必要があるという整理である。 ただし、今回の論文が示す34%対16%というWorldArenaでの差は、評価対象が動画の見かけではなく後続のaction planningに及んでいる点を示す。動画世界モデルが下流の計画に使えるかどうかは、生成品質の平均値よりも、動きの手掛かりをどこまで失わないかで決まる可能性がある。 業界構造への含意としては、動画生成の圧縮競争が、単純なステップ削減から「どの動きを残すか」の制御競争に移る点が重要である。14Bから1.3Bへの圧縮と4ステップ推論は計算資源の制約に応えるが、同時にcriticの設計と再ノイズ制御が性能差を生むため、モデルサイズだけでは優劣を説明できなくなる。未確定の論点は、他ベンチマークでの再現性、14B教師の具体的な構成、学習データの範囲、そしてWorldArena以外の実環境に近い計画タスクで同様の差が出るかどうかである。

なぜ重要か

論文が示すのは、4ステップ・1.3Bという軽量化を進めても、相互作用の動きまで残せれば後続のaction planningに使える可能性があるという点である。逆に、画質だけを保ってもrobot--object motionが落ちれば下流タスクの成功率につながらないため、動画世界モデルの評価軸は生成の見栄えから時間方向の忠実度へ移る必要があるとみられる。