ビデオと画像の統一表現学習によるビデオ顔偽造検出

本論文は、ビデオ顔偽造検出（video face forgery detection）のための新しいフレームワークUVIFを提案している。既存手法は偽造ビデオの全フレームが操作されていると仮定するが、一部のフレームのみが改ざんされた部分偽造ビデオの検出は困難である。UVIFは、追加の注釈付き画像を利用して、ビデオ内の部分的な偽造を検出するための細かい監視を提供する。統一エンコーダとマルチタスク学習パラダイムを用いて、顔ビデオと画像を共同でモデル化し、ビデオ顔偽造検出を向上させる。

先行研究は、ビデオ内の全フレームが操作されていると仮定するため、部分的な偽造フレームを含むビデオの検出が困難である。UVIFは、追加の画像データを活用してフレームレベルの監視を強化し、部分偽造の検出を可能にする点で優れている。また、ビデオと画像の表現を統一し、特徴分布のギャップを低減するためのビデオ指向の特徴アライメント戦略を導入している。さらに、追加の計算オーバーヘッドなしで最先端の性能を達成している。

手法の肝は、統一エンコーダ（2Dバックボーンと時間的融合モジュール）を用いてビデオと画像を共同で表現すること、マルチタスク学習によりビデオと画像の両方の監視を活用すること、ビデオフレームと静的画像の表現を橋渡しするための擬似ラベリングプロセス、およびビデオと画像間の分布ギャップを減らすためのビデオ指向の特徴アライメント戦略である。

ベンチマークデータセットでの広範な実験により、フレームワークの有効性を検証している。部分偽造ビデオの検出において、追加の計算オーバーヘッドなしで最先端の手法を上回る性能を示した。

要旨からは、議論の詳細は不明である。ただし、部分偽造ビデオの検出に焦点を当てており、画像データの追加利用が有効であることが示唆される。また、コードが公開されているため、再現性や比較が容易である。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、FaceForensics++やDFDCなどのデータセットを用いた顔偽造検出手法、およびビデオと画像の統一表現学習に関する研究が挙げられる。