画像フォレンジック2026/9/15arXiv:2609.16778

MoE-JEPA：意味事前知識と高周波痕跡を統合した合成画像フォレンジック

Unifying Semantic Priors and High-Frequency Traces: Enhancing V-JEPA with Mixture-of-Experts for Robust Synthetic Image Forensics

シェア:X Threads Facebook LINE はてブ Bluesky

JEPAの世界モデルを事前知識として活用し、Residual Mixture-of-Expertsとノイズストリームを組み合わせて、圧縮やSNS経由でも頑健にディープフェイクを検出する手法を提案。

詳しい要約

1. どんなもの？

- 本論文は、SNS上の改ざん画像検出（deepfake detection）のための新しい二重ストリームアーキテクチャ「MoE-JEPA」を提案する。 - 基盤としてJoint-Embedding Predictive Architecture (JEPA) モデル、特にV-JEPA 2を採用し、その世界モデルとしての汎化表現をforensic priorとして活用する。 - ノイズストリーム分岐とResidual Mixture-of-Experts (MoE) を組み合わせ、さらにGated Attention Multiple Instance Learning (MIL) で空間的意味理解を精密化する。 - SID-Setベンチマーク（30万枚のAI生成・改ざん・真正画像）で95.54%の精度を達成し、新たなstate-of-the-artを確立。

2. 先行研究と比べてどこがすごい？

- 従来のdeepfake検出器はVision Transformers (ViTs) を用いて低レベル不整合を捉えるが、圧縮やSNS伝送時の困難なシナリオでは不十分。 - 本論文はJEPAモデルをdeepfake検出に初めて適用し、その内在的な世界理解を強いpriorとして利用する点が新しい。 - 大規模モデルを凌駕する性能を、より効率的なアーキテクチャで達成した点が先行研究と比べて優れている。

3. 技術・手法の肝は？

- V-JEPA 2バックボーンをResidual Mixture-of-Experts (MoE) 機構で拡張し、forensic knowledgeを動的に内部化する。 - ノイズストリーム分岐を追加し、低レベルな高周波痕跡を捉える。 - Gated Attention Multiple Instance Learning (MIL) モジュールにより、空間的意味理解を精密化する。 - 二重ストリーム（意味priorと高周波痕跡）を統合する設計が肝。

4. どうやって有効だと検証した？

- SID-Setベンチマーク（300KのAI生成・改ざん・真正画像）で評価。 - 精度95.54%を達成し、新たなstate-of-the-artを確立。 - より大規模なモデルを上回る性能を示した。

5. 議論はある？

- 要旨からは、JEPAモデルの世界理解がdeepfake検出のpriorとして有効であることを実証したと主張。 - 圧縮やSNS伝送などの困難なシナリオへの頑健性が示唆されるが、具体的な議論や限界は要旨からは不明。

6. 次に読むべき論文は？

- V-JEPA 2 (Joint-Embedding Predictive Architecture) の原論文。 - Vision Transformers (ViTs) を用いたdeepfake検出の代表的研究。 - Mixture-of-Experts (MoE) およびMultiple Instance Learning (MIL) の関連手法。 - SID-Setベンチマークの論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Simone Teglia, Irene Amerini

分類: cs.CV

原文アブストラクト

The unchecked proliferation of manipulated images on social media platforms has increased the spread of misinformation, posing a severe threat to public trust and information integrity. Modern deepfake detectors typically rely on Vision Transformers (ViTs) to capture the low-level inconsistencies that characterize fully synthetic or locally tampered images. However, the global understanding of such foundation models is not enough to discriminate alone between real and fake multimedia content, especially in challenging scenarios where images are compressed or transmitted through social media. In this paper we pioneer the application of Joint-Embedding Predictive Architecture (JEPA) models to deepfake detection, taking advantage of the generalized representation of visual reality that such World Models have exhibited. We hypothesize, and empirically demonstrate, that the intrinsic world understanding of JEPA models can be used as a strong prior for a deepfake detector. To fully exploit JEPA capabilities, we propose MoE-JEPA, a dual-stream architecture for deepfake detection. By enhancing a V-JEPA 2 backbone with a Residual Mixture-of-Experts (MoE) mechanism, along with a noise stream branch, our model dynamically internalizes forensic knowledge. Furthermore, a Gated Attention Multiple Instance Learning (MIL) module is employed to ensure precise spatial semantic understanding. Evaluated on the SID-Set benchmark, comprising 300K AI-generated, tampered and authentic images, MoE-JEPA establishes a new state-of-the-art with an accuracy of 95.54%, successfully outperforming vastly larger models.

arXivで原文を読む →arXiv概要ページ