日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

深層偽造検出arXiv:2611.25935

TwinD: ブレンディングから顔全体合成まで対応するディープフェイク検出の汎化

TwinD: Generalizing Deepfake Detection from Blending to Entire Face Synthesis

シェア:XThreadsFacebookLINEはてブBluesky

実フレームから作る再構成ツインとブロブツインで学習し、顔全体合成のディープフェイクも高精度に検出する手法を提案。

詳しい要約

1. どんなもの?

- 顔のdeepfake検出器TwinDを提案する研究。 - 従来の検出器はblending fakes(生成顔を実フレームに貼り戻す偽造)で訓練されるが、最近のgeneratorは顔全体を合成しblending痕跡を残さない。 - 19データセット(2019–2026)のベンチマークで、blendingとentire face synthesis (EFS)の両方に汎化する検出を目指す。 - コード・学習済みモデル・訓練データを公開し再現性を確保。

2. 先行研究と比べてどこがすごい?

- 従来最良の顔deepfake検出器はblending 10データセットで平均AUROC 96.2%だが、EFS 5データセットでは78.1%を超えない。 - AIGC検出器もこのギャップを埋められない。 - TwinDは平均AUROC 96.3%で先行SOTAを8.9ポイント上回る。 - blendingで98.1%、EFSで95.6%を達成し、EFSへの汎化で特に優位。

3. 技術・手法の肝は?

- FaceForensics++のfakesと2種類のtwinsで訓練する。 - reconstruction twin:実フレームをautoencoderで再構成し、実画素をランダム領域に戻したもの。decoderのneural tracesを狙う。 - blob twin:実フレームの改変コピーをフレーム自体とblendしたもの。blending artifactsを狙う。 - blob twinはgeneratorも顔形状maskも不要。 - 2つの相補的なforensic cuesで未見のmanipulationへ汎化する。

4. どうやって有効だと検証した?

- 19データセット(2019–2026)のベンチマークで評価。 - blending 10データセットとEFS 5データセットでAUROCを比較。 - TwinDは平均96.3%、blending 98.1%、EFS 95.6%。 - twinsのみ(deepfakeデータセットなし)で訓練した単一モデルも3seed平均94.3%に到達。

5. 議論はある?

- 要旨からは不明。 - ただしEFSへの汎化ギャップとAIGC検出器の限界を動機として明示。 - twinsのみでの訓練でも高い性能を示し、データセット依存の低減を示唆。

6. 次に読むべき論文は?

- FaceForensics++(訓練データ)。 - blending fakesおよびentire face synthesis (EFS)の既存検出器・ベンチマーク(19データセット)。 - AIGC検出器。 - autoencoder再構成に基づくforensics、blending artifacts検出の関連手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrii Yermakov, Jan Cech, Mario Fritz, Jiri Matas

分類: cs.CV

原文アブストラクト

Facial deepfake detectors are usually trained on blending fakes, where a generated face is pasted back into a real frame. Recent generators synthesize the entire face and leave no traces of blending. On a benchmark of 19 datasets released from 2019 to 2026, the best prior facial deepfake detector reaches a mean AUROC of 96.2% on ten blending datasets, but none exceeds 78.1% on five datasets of entire face synthesis (EFS). AI-generated content (AIGC) detectors do not close this gap. We propose TwinD, a detector trained on FaceForensics++ fakes and two kinds of twins: fakes made from a real frame. A reconstruction twin is a real frame reconstructed by an autoencoder, with the real pixels put back in a random region. It targets the neural traces of a decoder. A blob twin blends an altered copy of a real frame with the frame itself, targeting blending artifacts. It needs no generator and no face-shaped mask. Together, these twins provide two complementary forensic cues that generalize to unseen manipulations. TwinDreaches a mean AUROC of 96.3%, 8.9 points above the prior state-of-the-art, with 98.1% on the blending datasets and 95.6% on the EFS datasets. Trained on twins alone, without a deepfake dataset, single models still reach 94.3% on average over three seeds. For reproducibility, the code, trained model, and training data are at: https://github.com/yermandy/TwinD

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI