ディープフェイク検出2026/8/3arXiv:2608.01661

FairForensics: 視覚言語モデルによる表情認識と人口統計解析を用いた汎化可能な公平なディープフェイク検出

FairForensics: Seeing Expressions and Parsing Demographics via Vision-Language Modeling for Generalizable Fair Deepfake Detection

シェア:X Threads Facebook LINE はてブ Bluesky

人口統計的にバランスの取れたベンチマークを構築し、表情と人口統計を考慮した視覚言語モデルを導入して、未見の操作や人口統計グループ間での公平性を向上させるディープフェイク検出器を提案した。

詳しい要約

1. どんなもの？

FairForensicsは、Vision-Language Modelを用いた公平なDeepfake検出(FDD)のための新しいフレームワークである。人口統計学的にバランスの取れたベンチマークを構築し、検出器の一般化能力と人口統計グループ間の公平性を同時に向上させることを目指す。具体的には、表情と人口統計情報を認識するVision-Language Modelを導入し、顔偽造の一般化強化と人口統計認識型の公平性正則化を行う。

2. 先行研究と比べてどこがすごい？

既存の公平性強化型検出器は、未知の操作に対する一般化と人口統計グループ間の公平性の両方で最適ではないことが多い。また、人口統計的に不均衡な分布で開発・評価されるため、マイノリティグループに対して偏った予測をすることが問題である。FairForensicsは、バランスの取れたベンチマークを新たに構築し、一般化と公平性を同時に扱う点で先行研究より優れている。

3. 技術・手法の肝は？

手法の肝は、表情と人口統計情報を利用したVision-Language Modelの設計にある。まず、顔偽造の一般化強化では、本物と偽造の表情ベクトルの分布差に着目し、表情エンコーダで高レベルの表情誘導型偽造パターンを捉え、表現知覚型視覚エンコーダでグローバルな外観と表情偽造特徴を統合する。さらに、ID認識型パッチ摂動モジュールでアイデンティティバイアスを軽減する。公平性正則化では、人口統計誘導型言語エンコーダで集団認識型のグローバル言語埋め込みを抽出し、Vision-Languageアライメントにより偽造特徴と人口統計情報の分離を促進する。また、集団認識型プロトタイプ公平性目的関数を設計し、人口統計サブグループ間のクラス間分離とクラス内整列を強制する。

4. どうやって有効だと検証した？

構築したバランスの取れた人口統計ベンチマーク上で、バランスおよび不均衡な人口統計シナリオの両方で広範な実験を行い、一般化と公平性の両方において最先端の性能を達成したことを示した。

5. 議論はある？

要旨からは、議論の余地や限界についての詳細は不明である。ただし、提案手法は人口統計情報を明示的に利用するため、プライバシーや倫理的な懸念が生じる可能性がある。また、ベンチマークの構築方法や評価指標の詳細も要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、fairness-enhanced detectorsやVision-Language Modelを用いたDeepfake検出の研究が挙げられる。具体的には、Fairness GANやFace X-Ray、Vision-Language Modelを用いた一般的なDeepfake検出手法などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yaning Zhang, Jiao Wu, Zan Gao, Linlin Shen

分類: cs.CV

原文アブストラクト

The challenge of fair deepfake detection (FDD) has attracted increasing attention. Existing fairness-enhanced detectors often suffer from suboptimal generalization to unseen manipulations and fairness across demographic groups. They are typically developed and evaluated on demographically imbalanced distributions, resulting in biased predictions toward minority groups. In this paper, we construct a novel demographically balanced FDD benchmark to train and evaluate the fairness of detectors under both balanced and imbalanced population scenarios. Additionally, we introduce a novel expression and demographic perceptual vision-language model, termed FairForensics, for generalizable fair deepfake detection. FairForensics conducts face forgery generalization enhancement and demographic-aware fairness regularization. During face forgery generalization enhancement, built upon the novel observation of significant distribution differences between pristine and forged expression vectors, we design an expression encoder to capture high-level expression-guided forgery patterns, and an expression-perceptual visual encoder that integrates global appearance and expression forgery features while mitigating identity bias using an identity-aware patch perturbation module. Under demographic-aware fairness regularization, we propose a demographic-guided language encoder to extract population-aware global language embeddings, which boosts the decoupling of forgery features from demographic information via vision-language alignment. We devise a population-aware prototype fairness objective to enforce both inter-class separability and intra-class alignment across demographic subgroups. Extensive experiments on our balanced demographic benchmark show that our method achieves the state-of-the-art in terms of generalization and fairness.

arXivで原文を読む →arXiv概要ページ