顔ディープフェイク検出における視覚基盤モデルのクロスドメイン汎化限界
Cross-Domain Generalization Limits of Vision Foundation Models in Facial Deepfake Detection
生成モデルの進化により超現実的な顔ディープフェイクが作られる中、未見の操作技術に対する検出器の汎化能力の限界を、視覚基盤モデルを特徴抽出器として用いて体系的に評価した論文。
分類: cs.CV, cs.AI, cs.LG
原文アブストラクト
The rapid evolution of generative models has enabled the creation of hyper-realistic facial deepfakes, exposing a critical vulnerability in modern digital forensics: the inability of detectors to generalize to unseen manipulation techniques. Traditional networks suffer from representation collapse, overfitting to localized artifact fingerprints of specific training generators. This work investigates whether modern Vision Foundation Models can serve as generalizable, out-of-the-box feature extractors capable of tracking forensic anomalies across entirely unseen generative manifolds. We conduct a systematic cross-domain evaluation comparing three foundational learning paradigms: fully supervised macro-semantic features (RoPE-ViT), pure self-supervised geometric features (DINOv3), and multi-teacher agglomerative representations (NVIDIA C-RADIOv4-H). By deploying frozen backbones subjected to downstream linear probing, we map the performance limitations of these architectures on the challenging DF40 benchmark. Our empirical findings expose the intrinsic trade-offs between pre-training paradigms and parameter scale, proving that while foundation models retain high discriminative capabilities for entire face synthesis, localized face editing techniques expose fundamental boundaries in linear probe evaluation structures. Source code and model weights are available in http://github.com/mribrahim/deepfake
関連論文
- データ多様性、周波数不変性ではない:圧縮ロバストなディープフェイク検出の制御・自己監査研究ディープフェイク検出
- 特徴ロバスト拡張と根拠に基づく説明最適化による説明可能なディープフェイク検出ディープフェイク検出
- FairForensics: 視覚言語モデルによる表情認識と人口統計解析を用いた汎化可能な公平なディープフェイク検出ディープフェイク検出
- 不確実性を考慮したマルチビュー構造学習によるディープフェイク検出ディープフェイク検出
- 説明可能なディープフェイク検出チャレンジディープフェイク検出
- 継続進化型ディープフェイク検出:動的検出システムのアーキテクチャと公開ベンチマーク評価ディープフェイク検出