明示的なフォレンジック特徴と時間モデリングによる動画ディープフェイクの解釈可能な検出
Interpretable Deepfake Detection in Videos via Explicit Forensic Features and Temporal Modeling
動画から顔の時系列軌跡を抽出し、光学的・テクスチャ・幾何・圧縮の4領域にわたる68個の解釈可能な特徴をLSTMで時間モデリングすることで、高い精度と汎化性能を実現したディープフェイク検出手法。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Chahira Benhama, Mohand Saïd Allili, Assia Hamadene
分類: cs.CV
原文アブストラクト
Deepfake detection in videos remains challenging, as manipulated content may appear visually consistent at the frame level while exhibiting subtle temporal inconsistencies. This paper introduces an interpretable deepfake detection framework that models spatially and temporally coherent facial features in video sequences. Unlike end-to-end deep models relying on implicit representations, the proposed approach explicitly encodes physically grounded forensic cues, enabling transparent analysis and improved multi-dataset generalization. The pipeline transforms videos into identity-consistent facial trajectories, segments them into fixed-length temporal windows, and represents each frame using 68 structured descriptors spanning four complementary domains: photometric, textural, geometric, and compression-based features. These descriptors provide a compact multi-domain representation of manipulation artifacts and are processed by a Long Short-Term Memory (LSTM) network to capture temporal dependencies and subtle irregularities. Evaluation on four benchmark datasets, FaceForensics++, Celeb-DF v2, a curated subset of the DeepFake Detection Challenge (DFDC), and DeeperForensics, yields strong and consistent F1-scores of 98.0%, 91.0%, 97.6%, and 96.2%, respectively. The approach also demonstrated a good cross-dataset generalization, providing a robust and interpretable solution for video deepfake detection.
関連論文
- 汎化可能なディープフェイク検出のためのクロス再構成の再検討ディープフェイク検出
- DBCF: 基盤モデルの二枝相補融合による汎用ディープフェイク検出ディープフェイク検出
- データ多様性、周波数不変性ではない：圧縮ロバストなディープフェイク検出の制御・自己監査研究ディープフェイク検出
- 特徴ロバスト拡張と根拠に基づく説明最適化による説明可能なディープフェイク検出ディープフェイク検出
- FairForensics: 視覚言語モデルによる表情認識と人口統計解析を用いた汎化可能な公平なディープフェイク検出ディープフェイク検出
- 不確実性を考慮したマルチビュー構造学習によるディープフェイク検出ディープフェイク検出