AVA-Encoder: エージェントネイティブな映像表現学習に向けて

AVA-Encoderは、ビデオ生成エージェントが高品質な映画から学習するための、エージェントネイティブな映像表現を学習するオートエンコーディングフレームワークである。ビデオをFilm Knowledge Graph (KG)表現に変換し、それを再構成してビデオに戻す。このFilm KGは、エンティティ、イベント、アセット、およびそれらのマルチモーダル関係を構造化形式で明示的に捉え、エージェントが容易に理解・クエリ・操作できる。再構成残差は、二重ループのテキスト勾配最適化を駆動し、Film KG表現とAgentic Video Encoderを共同で改善する。

先行研究では、ビデオエージェントが高品質な人間の映画から効果的に学習する方法が欠如しており、映画品質のビデオ生成が制限されていた。AVA-Encoderは、映画内容に忠実で、エージェントの推論と操作に直接使用可能な構造化ビデオ表現を提供する点で新しい。外部ベースラインと比較して、20.7パーセントポイントの絶対ゲイン（73.1%の相対改善）を達成し、制御されたポリシーのみの設定では、人間が調整したポリシーよりも優れた性能を示しつつ、システムプロンプトトークンを74.3%（ショットレベル）および70.1%（キーフレームレベル）削減した。

手法の核心は、エージェントの自己進化によって駆動される二重ループのテキスト勾配最適化フレームワークである。ビデオはFilm KG表現にエンコードされ、そこからビデオが再構成される。再構成残差は、Film KG表現とAgentic Video Encoderの両方を改善するためのテキスト勾配を提供する。このプロセスにより、エージェントが理解・操作しやすい構造化表現が学習される。

広範な実験により、AVA-Encoderは最強の外部ベースラインに対して20.7パーセントポイントの絶対ゲイン（73.1%の相対改善）を達成した。制御されたポリシーのみの設定では、擬似トレーニングされたAgentic Video Encoderポリシーは、人間が注意深く調整したポリシーよりも優れており、ショットレベルで74.3%、キーフレームレベルで70.1%少ないシステムプロンプトトークンを使用した。

要旨からは、議論や限界についての詳細は不明である。ただし、提案された表現が映画生成エージェントの性能を向上させる一方で、Film KG表現の品質や、異なるビデオジャンルやドメインへの一般化可能性に関する潜在的な課題が考えられるが、要旨では言及されていない。

要旨で参照されている関連研究は明示されていないが、ビデオ表現学習、知識グラフ、オートエンコーダ、およびエージェントベースのビデオ生成に関する一般的な研究が関連する。具体的には、VideoMAEやTimeSformerなどのビデオ表現学習、およびエージェントのための知識グラフ利用に関する研究が考えられる。