動画生成のためのゴールデンアンカー学習

- ビデオ生成のための anchor image を学習する枠組み Golden Anchor Learning (GAL) を提案する研究。 - 現代の I2V パイプラインでは T2I 生成器が anchor を作るが、T2I の画像品質指標が下流のビデオ品質と弱い相関しか持たないことを示す。 - GAL は下流のビデオフィードバックで T2I 生成器を最適化し、golden anchor を学習する初の枠組みと主張。 - 4つの I2V モデルで VBench 平均を 2.97%–8.46% 改善。

- 従来は T2I の画像品質・美的スコアを anchor 選択の指標としてきたが、それらは下流ビデオ品質と弱相関であることを示した。 - structure-and-texture スコアは I2V ビデオ品質と視覚・動きの両次元で負相関。 - image reward で T2I を微調整すると画像指標は上がるが、テストした全 I2V モデルで video reward が下がり、動きも予測不能に変化する。 - 画像指標ではなく下流ビデオフィードバックで anchor を最適化する点が先行研究と異なる。

- GAL は候補 anchor を frozen I2V モデルで生成されるビデオを通じて評価する。 - ビデオ reward を画像レベルの preference に変換し、T2I 生成器の DPO 微調整に用いる。 - これにより下流ビデオ品質を直接反映した anchor を学習する。 - 学習は HunyuanVideo-1.5 のレンダリングのみで行う。

- 4つの I2V モデルで VBench 平均が未調整生成器比 2.97%–8.46% 向上。 - 生成クリップは VideoReward-Overall でも高スコア。 - 抽出フレームは HPSv3 と UniPercept でも高スコア。 - 4つの I2V モデルすべてで VBench dynamic degree が 5.62%–38.24% 増加し、動きの改善が一貫。 - HunyuanVideo-1.5 のみで学習したが、他の3つの I2V モデルにも利得が拡張。

- anchor の美的・品質スコアと下流ビデオ品質の相関が弱いこと、structure-and-texture スコアが負相関であることを議論。 - image reward による T2I 微調整が画像指標を上げても video reward を下げ、動きを予測不能に変える点を指摘。 - 学習は HunyuanVideo-1.5 のみだが他モデルへ転移する理由や限界については要旨からは不明。

- 要旨で参照/比較されている研究: image-to-video (I2V) generation、text-to-image (T2I) generator、DPO、VBench、VideoReward-Overall、HPSv3、UniPercept、HunyuanVideo-1.5。 - 関連手法として image reward による T2I 微調整、structure-and-texture スコア。 - 同分野の定番として video diffusion models、reward models for video generation。