日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/検出arXiv:2611.21846

世界モデルはディープフェイク動画を予測できるか?一貫性マージン事前分布による検出

Can a World Model Predict a Deepfake Video? A Consistency Margin Prior for Deepfake Detection

シェア:XThreadsFacebookLINEはてブBluesky

凍結したV-JEPA 2.1エンコーダとLoRA適応の予測器を使い、予測残差の大きさをディープフェイク検出の手がかりとして利用し、その方向性がデータセット間の汎化に与える影響を検証した論文。

詳しい要約

1. どんなもの?

- 予測型 video model(V-JEPA 2.1)を用いた deepfake 検出器の提案 - 生成器固有の artifact に依存せず、自然動画の予測と観測の差を信号とする - この差を prediction residual と呼び、consistency-margin prior として利用 - 軽量な Latent Consistency Head (LCH) で residual を処理 - residual の大きさ(magnitude)と方向(direction)を分離して学習・分類 - 学習は FF++ のみ、パラメータ追加は 8.25M(全体 334M の 2.47%)

2. 先行研究と比べてどこがすごい?

- 既存検出器は学習データセットでは高精度だが、別データセットで性能が低下する - 多くは generator-specific artifacts に依存 - 本研究は artifact ではなく predictive video model の prediction residual を信号に使う - データセット間でより汎化する信号を狙う点が違い - 小規模な追加パラメータ(2.47%)で cross-dataset 性能を狙う点も特徴 - FF++ のみで学習し Celeb-DFv2 で AUC 90.5

3. 技術・手法の肝は?

- V-JEPA 2.1 の encoder を frozen にし、predictor を rank-16 LoRA で適応 - prediction residual を「predictor 出力と frozen encoder target の差」と定義 - 操作された clip は authentic clip より平均的に residual が大きいという仮説 - Latent Consistency Head (LCH) で residual magnitude と direction を分離 - consistency margin の方向の影響を検証するため、standard と reversed margin 目的関数を比較 - 他の学習設定は固定し、FF++ validation 性能を揃えてから未見データで評価

4. どうやって有効だと検証した?

- FF++ で学習し、Celeb-DFv2 など複数の cross-dataset benchmark で評価 - Celeb-DFv2 で AUC 90.5 - standard と reversed margin を FF++ validation 性能で揃えた上で未見データに評価 - reversed-margin 設定は平均的に cross-dataset generalization gap が大きい - consistency margin の方向が cross-dataset transfer に影響する証拠とする - ablation で以下が cross-dataset 汎化を改善すると報告 - residual magnitude と direction の分離 - dataset-specific variation の低減 - low-rank projection の使用

5. 議論はある?

- consistency margin の方向が cross-dataset 汎化に影響することを示唆 - reversed margin で generalization gap が平均的に拡大 - 有効性の要因として magnitude/direction 分離、dataset-specific variation 低減、low-rank projection を挙げる - 限界や失敗事例、計算コスト、他 generator への一般性の詳細は要旨からは不明 - 評価データセットの全リストや被験者数なども要旨からは不明

6. 次に読むべき論文は?

- V-JEPA 2.1(本研究の基盤 predictive video model) - LoRA(rank-16 LoRA の元手法) - FF++(FaceForensics++、学習データセット) - Celeb-DFv2(cross-dataset 評価ベンチマーク) - 既存の deepfake 検出における generator-specific artifact ベース手法(個別名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pradip Gupta, Shubham Mandloi, Ravi Kumar Satzoda, Sujeeth Bharadwaj, Yassine Benajiba, Dan Roth

分類: cs.CV

原文アブストラクト

Deepfake detectors often perform well on the dataset they are trained on, but their performance drops when tested on videos from different datasets. In this paper, we study whether a predictive video model can provide a signal that generalizes better across datasets. Instead of relying only on generator-specific artifacts, as many existing detectors do, we use a model trained to predict natural video and measure the difference between what it predicts and what it observes in a video. Using V-JEPA 2.1, we keep the encoder frozen and adapt the predictor using rank-16 LoRA. We define the difference between the predictor output and the frozen encoder target as the prediction residual. We hypothesize that manipulated clips produce, on average, larger prediction residuals than authentic clips, and use this as our consistency-margin prior. We process these residuals using a lightweight Latent Consistency Head (LCH), which separates residual magnitude from direction for training and classification. To test whether the direction of the consistency margin affects cross-dataset generalization, we compare standard and reversed margin objectives while keeping the remaining training setup fixed. We match the two settings on FF++ validation performance before evaluating them on unseen data. The reversed-margin setting exhibits a larger cross dataset generalization gap on average, providing evidence that the direction of the consistency margin affects cross-dataset transfer. Our complete model adds only 8.25M trainable parameters, which is 2.47% of the total 334M parameters. Trained only on FF++, it achieves an AUC of 90.5 on Celeb-DFv2 and performs well across several other cross-dataset benchmarks. Our ablations show that separating residual magnitude from direction, reducing dataset-specific variation, and using a low-rank projection improve cross-dataset generalization in our experiments.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI