MARS: 動画偽造検出のためのマルチスケール外観・残差ストリーム

- 動画のdeepfake検出器。facial manipulationとfully generated videoの両方を対象とする。 - 二経路構成: 固定のspatial/temporal difference-of-Gaussiansをfrozen中間特徴に適用するresidual pathと、encoderのnormalization parametersを適応させるsemantic path。 - clip依存のgateで両経路の予測を統合する。 - 空間・時間のpatch/frame寄与を符号付きで提示する説明性も備える。 - コードとプロジェクトページを公開。

- 7データセット共通プロトコルで平均AUROC 91.43%を達成し、比較した7検出器を上回った。 - facial manipulationのみで学習してもGenVideoで93.99%、DF26で75.50%のAUROCを示し、生成動画の学習データなしで転移できる。 - 単一の手がかりに頼らず、明示的な空間・時間差分とappearance特徴を併用する点が従来と異なる。 - 説明のfaithfulnessを空間・時間の除去実験で評価している点も特徴。

- residual path: frozen intermediate featuresに対し固定のspatial/temporal difference-of-Gaussians演算子を適用し、差分をappearance contextとともにフレーム間でモデル化。 - semantic path: encoderのnormalization parametersを適応させてフレーム分類を行う。 - clip依存のgateが両経路の予測を組み合わせる。 - 差分は自然なtextureやmotionにも反応するため、appearance特徴とjointに解釈する設計。 - 出力としてsigned patch/frame contributionsを提供。

- 7データセットの共通プロトコルで評価し、平均AUROC 91.43%を報告。7つの比較検出器を上回った。 - facial manipulationのみで学習したモデルをGenVideoとDF26に適用し、それぞれ93.99%、75.50%のAUROCを確認。 - signed patch/frame contributionsのfaithfulnessを、ランダム対照に対する制御された空間的・時間的除去で評価。 - 詳細なデータセット名や被験者数は要旨からは不明。

- 差分特徴は自然なtextureやmotionにも反応するため、appearance特徴とのjoint解釈が不可欠という議論を提示。 - facial manipulationとfully generated videoでforgery tracesが異なる点を、明示的差分とappearanceの併用で扱う立場。 - 説明のfaithfulness評価を空間・時間除去で行うが、その限界や他の評価軸は要旨からは不明。 - 計算コストやリアルタイム性、未知の操作法への一般化限界は要旨からは不明。

- 比較対象の7検出器(個別名は要旨からは不明)。 - GenVideoおよびDF26のデータセット論文。 - difference-of-Gaussiansを用いた特徴差分の先行研究。 - normalization parametersの適応(例: AdaIN系)やtest-time adaptationの関連研究。 - deepfake検出の説明性・faithfulness評価に関する研究。