Vorch-Omni: 視覚と聴覚のマルチタスク統合オーケストレーション

Vorch-Omniは、音声と映像の生成・編集を統一的に扱うマルチタスクフレームワーク。任意の条件（テキスト、画像、音声、映像など）から任意の出力（映像、音声、またはその両方）を生成する「arbitrary-condition-to-arbitrary-output」という定式化に基づく。単一のflow-matching diffusion transformerを用いて、text-to-video、text-to-audio-video、image-conditioned generation、reference-conditioned generation、temporal extension、audio-driven generation、video transformation、audio-visual editingなど10以上のタスクをサポートする。

従来の生成モデルはタスクごとに個別のモデルを必要とし、断片的であった。Vorch-Omniは、タスク固有のアーキテクチャ変更なしに、単一のモデルで多様なタスクを統一的に扱う点が新しい。特に、異種のターゲット・ソース・参照信号を区別し、タスク間の干渉を減らすためのトークンレベルの条件付けマスクとタスク識別子を導入している。また、音声と映像の同時生成における多様な条件付けと出力構成の課題に対処している。

手法の核は、トークンレベルの条件付けマスクとタスク識別子を用いて、ターゲット、ソースコンテンツ、参照を区別すること。さらに、位置タイプによって時間的文脈と独立した条件を分離する。視覚的条件付けには、視覚言語モデル（VLM）がサンプリングされたフレームとテキスト命令を解釈する経路と、ビデオVAEが条件を潜在トークンにエンコードして直接ガイダンスを提供する経路の2つを相補的に使用する。データパイプラインでは、時間的に整列した音声映像クリップを収集し、構造化されたキャプションとメタデータを生成し、タスク分布のバランスを取る。

要旨からは、具体的な検証方法（ベンチマークや比較実験など）は不明。ただし、10以上のタスクをサポートすると述べており、各タスクでの生成品質や編集性能を評価したと推測されるが、詳細は要旨に記載がない。

要旨からは、議論や限界についての言及はない。ただし、統一モデルによるタスク間の干渉を減らすための工夫が述べられており、その効果や限界については今後の検証が必要と考えられる。また、データパイプラインの構築やタスク分布のバランス調整が重要であると示唆されるが、具体的な課題は不明。

要旨で参照されている先行研究や関連手法は明示されていないが、同分野の定番として、映像生成ではVideo Diffusion Models、音声生成ではAudioLDM、音声映像生成ではMM-DiffusionやVideoPoetなどが考えられる。また、統一マルチタスクモデルとしては、Unified-IOやOmni-modalモデルなどが関連する。