日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ディープフェイク検出arXiv:2611.12443

MoSTE:動画ディープフェイク検出のための時空間エキスパート混合

MoSTE: Mixture of Spatio-Temporal Experts for Deepfake Detection in Videos

シェア:XThreadsFacebookLINEはてブBluesky

動画ディープフェイク検出において、空間・時間それぞれのエキスパートを並列に用意しトークン単位で動的に振り分ける適応フレームワークMoSTEを提案し、未知の偽造への汎化性能で新たな最先端を達成した。

詳しい要約

1. どんなもの?

- 動画のdeepfake検出のための適応フレームワークMoSTE(Mixture Of Spatio-Temporal Experts)を提案する論文。 - 単一の共有表現に頼らず、空間・時間それぞれのexpert poolに適応を分解し、token単位で動的にexpertへroutingする。 - CLIPの表現を動画領域へ転移しつつ、操作タイプに依存しない汎化性能の向上を狙う。

2. 先行研究と比べてどこがすごい?

- 既存のparameter-efficient adaptation手法は単一の共有表現に依存し、manipulation-specific biasに陥りやすく未見の偽造への転移が限定的だった。 - MoSTEは空間・時間の並列expert poolに条件付きで特化させることで、この単一表現の限界を緩和する。 - 明示的なmanipulationラベルや多段階学習を必要とせずにexpertの特化が生じる点が異なる。

3. 技術・手法の肝は?

- 適応をparallel spatial expert poolとtemporal expert poolに分解する。 - unsupervisedなtoken-level routing mechanismにより、各tokenを最も関連するexpertへ動的に振り分ける。 - これによりexpertが補完的なforensic cueに自然に特化し、CLIPからvideo domainへの表現転移を実現する。 - 明示的なmanipulation labelやmulti-stage trainingを要しない設計。

4. どうやって有効だと検証した?

- cross-datasetおよびcross-manipulationのbenchmarkで広範な実験を実施。 - 平均汎化性能で新たなstate of the artを達成し、多様なmanipulation familyでも強い性能を維持した。 - expert routingとattention behaviorの追加分析によりexpert diversityの出現を示し、補完的なspatio-temporal forensic featureの学習を示唆。

5. 議論はある?

- expert routingとattentionの分析からexpert diversityの emergenceが示され、補完的特徴の学習が示唆される。 - 具体的な限界や失敗ケース、計算コストに関する議論は要旨からは不明。 - manipulation family間の性能差の詳細やroutingの解釈性についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及されるparameter-efficient adaptation手法(adapter系)やCLIPベースのdeepfake検出研究。 - 関連手法としてMixture of Experts(MoE)およびtoken-level routingの研究。 - 動画deepfake検出のcross-dataset/cross-manipulation評価を行う既存benchmark論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Charbel Yahchouchi, Nabyl Quignon, Noemi Roggero, Laurent Saroul, Antitza Dantcheva

分類: cs.CV

原文アブストラクト

Generalizable deepfake video detection remains challenging because forgery artifacts vary substantially across manipulation types and often combine diverse spatial and temporal inconsistencies. Existing parameter-efficient adaptation methods typically rely on a single shared representation, rendering them prone to manipulation-specific bias and limiting transfer to unseen forgeries. To address this challenge, we propose Mixture Of Spatio-Temporal Experts (MoSTE), an adaptation framework that enables conditional specialization of forensic representations. Instead of forcing one adapter to model all forgery patterns, MoSTE decomposes adaptation into parallel spatial and temporal expert pools and dynamically routes tokens to the most relevant experts through an unsupervised token-level routing mechanism. This allows experts to naturally specialize in complementary forgery cues without requiring explicit manipulation labels or multi-stage training, while effectively transferring representations from CLIP to the video domain. Extensive experiments across cross-dataset and cross-manipulation benchmarks demonstrate that MoSTE sets a new state of the art in average generalization while preserving strong performance across diverse manipulation families. Additional analysis of expert routing and attention behavior reveals the emergence of expert diversity, suggesting that MoSTE learns complementary spatio-temporal forensic features. Code is available at https://github.com/charbelyah/MoSTE

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI