Spectra: マルチスケール暗黙分解によるディープフェイク検出

- 深層学習ベースのDeepfake検出フレームワーク「Spectra」を提案する論文。 - 画像の見た目(RGB)ではなく、Implicit Neural Representations (INRs) による画像再構成の過程に着目。 - 画像ごとにINRをfitし、その内部活性化からmulti-level reconstruction heatmapsを抽出。 - これらをsemantic visual representationsとbidirectional fusionで統合し、偽造検出手がかりとする。 - Deepfake検出に加え、face presentation attack detectionにも拡張可能な統合枠組みを志向。

- 既存検出器はRGB appearance、frequency-domain artifacts、またはその組合せに依存し、最終合成画像に現れる手がかりを学習。 - それらはin-distributionでは有効だがgenerator-specificで、合成モデルの進化に伴い劣化しうる。 - Spectraは「画像がどう再構成されるか」という相補的視点をINRで導入し、生成パイプラインへの依存を低減。 - RGB外観のみ、またはsemantic representationsのみの検出器を一貫して上回ると報告。 - 複数benchmarkでrobustnessとcross-dataset generalizationの改善を示す。

- 画像ごとにINRをfitし、その内部activationsを解析してreconstruction dynamicsを可視化。 - 多段階のreconstruction heatmapsをimage-specific INRから抽出。 - semantic featuresとINR由来のartifact-aware cuesをbidirectional fusion mechanismで双方向に融合。 - 画像semanticsとreconstruction artifactsを直接相互作用させ、生成手法に依存しにくいforgery cuesを獲得。 - 単一の表現をDeepfake検出とface presentation attack detectionに共用できる可能性を示す。

- 複数のdeepfake benchmarksで広範な実験を実施。 - RGB appearanceのみ、またはsemantic representationsのみに基づく検出器と比較し、一貫した優位性を報告。 - robustnessとcross-dataset generalizationの改善を実験的に示す。 - 提案表現がDeepfake検出を超えface presentation attack detectionにも適用可能であることを示す。 - 具体的なデータセット名・指標・数値は要旨からは不明。

- INR再構成ダイナミクスがgenuineとsyntheticの本質的差異を捉えうるという主張が中心。 - 生成モデル進化に対するgenerator-specific cuesへの依存低減が動機。 - 限界・失敗事例・計算コスト(画像ごとのINR fit)に関する議論は要旨からは不明。 - 評価の詳細や統計的有意性、他攻撃タイプへの一般化範囲も要旨からは不明。

- Implicit Neural Representations (INRs) を用いた画像再構成・表現学習の基礎論文。 - frequency-domain artifactsに基づくDeepfake検出の代表的手法。 - RGB appearanceベースのDeepfake検出器(例: Xception系のbaseline)。 - semantic visual representationsを用いた検出・汎化研究。 - face presentation attack detectionの標準benchmarkおよび手法。 - 要旨で直接参照・比較されている個別論文名は不明。