MoSTE:動画ディープフェイク検出のための時空間エキスパート混合
MoSTE: Mixture of Spatio-Temporal Experts for Deepfake Detection in Videos
動画ディープフェイク検出において、空間・時間それぞれのエキスパートを並列に用意しトークン単位で動的に振り分ける適応フレームワークMoSTEを提案し、未知の偽造への汎化性能で新たな最先端を達成した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Charbel Yahchouchi, Nabyl Quignon, Noemi Roggero, Laurent Saroul, Antitza Dantcheva
分類: cs.CV
原文アブストラクト
Generalizable deepfake video detection remains challenging because forgery artifacts vary substantially across manipulation types and often combine diverse spatial and temporal inconsistencies. Existing parameter-efficient adaptation methods typically rely on a single shared representation, rendering them prone to manipulation-specific bias and limiting transfer to unseen forgeries. To address this challenge, we propose Mixture Of Spatio-Temporal Experts (MoSTE), an adaptation framework that enables conditional specialization of forensic representations. Instead of forcing one adapter to model all forgery patterns, MoSTE decomposes adaptation into parallel spatial and temporal expert pools and dynamically routes tokens to the most relevant experts through an unsupervised token-level routing mechanism. This allows experts to naturally specialize in complementary forgery cues without requiring explicit manipulation labels or multi-stage training, while effectively transferring representations from CLIP to the video domain. Extensive experiments across cross-dataset and cross-manipulation benchmarks demonstrate that MoSTE sets a new state of the art in average generalization while preserving strong performance across diverse manipulation families. Additional analysis of expert routing and attention behavior reveals the emergence of expert diversity, suggesting that MoSTE learns complementary spatio-temporal forensic features. Code is available at https://github.com/charbelyah/MoSTE
関連論文
- Spectra: マルチスケール暗黙分解によるディープフェイク検出ディープフェイク検出
- RoboFake:ディープフェイク検出器はヒューマノイド顔ロボットに対応できるか?ディープフェイク検出
- MSUチームによる説明可能なディープフェイク検出チャレンジ2026への挑戦:根拠あるアーティファクト証拠に基づく検出ディープフェイク検出
- MOTIF: 3DMM係数を超えた特定人物向けディープフェイク検出ディープフェイク検出
- 明示的なフォレンジック特徴と時間モデリングによる動画ディープフェイクの解釈可能な検出ディープフェイク検出
- 汎化可能なディープフェイク検出のためのクロス再構成の再検討ディープフェイク検出