脈拍か由来か？rPPGベースのディープフェイク検出器が学ぶもの

- 本論文は、deepfake検出におけるrPPG（remote photoplethysmography）ベースの検出器が実際に何を学習しているかを分析した研究。 - Celeb-DF++（22種の偽造手法）とFaceForensics++（FF++）を対象に、real/fake各動画から同一サンプリングの1ウィンドウを用いて評価。 - talking-face偽造では単純なchrominance tracesがAUC 0.998に達し、専用rPPG抽出器（0.87）を上回ることを示す。 - この信号は生理由来ではなく、高周波アーティファクトや動画ソースに由来する可能性を実験的に示す。

- rPPGをdeepfake検出の生理的手がかりとする従来の前提（合成顔には真正な心臓信号がない）に疑問を投げかける。 - 専用rPPG抽出器より単純なchrominance tracesの方が高性能であることを示し、rPPG特徴の有効性の解釈を覆す。 - 検出器が操作（manipulation）ではなく動画ソースを符号化している可能性を定量的に示す点が新しい。 - Celeb-DF/Celeb-DF++の公式splitがtrain/test間でidentityとsource-video contentを共有していることを指摘し、評価プロトコルの問題を明らかにする。

- real/fake各動画から同一サンプリングの1ウィンドウを抽出し、chrominance tracesやrPPG特徴を比較。 - 背景領域のみ、顔検出なしの全フレーム、解像度・フレームレート・エンコーディング正規化後の信号を比較する統制実験。 - フレーム順シャッフル、高周波成分の除去・付加、合成パルス注入などの操作実験。 - 2つのgeneratorを用いたself-reenactment実験（単一フレームからの顔アニメーション vs 各フレームを自身のソースから再構成）。 - CLIPベース検出器、frozen CLIP backbone、CLIPとrPPG/周波数特徴のfusionを比較。 - 独立再実装による再現性確認と、カスタムプロトコルでのAUC膨張（最大0.30）の検証。

- Celeb-DF++（22偽造手法）とFF++でAUCを評価し、chrominance tracesが0.998、rPPG抽出器が0.87であることを示す。 - 背景領域や顔検出なし全フレームでも同様に識別可能であることを確認。 - フレーム順シャッフルで信号が大きく除去されるが、解像度・フレームレート・エンコーディング正規化後も持続することを確認。 - 高周波除去で多くの合成動画がrealに見え、高周波付加でreal動画がfakeに見えることを確認。 - 独立再実装が同じ知見を再現。 - Celeb-DF++で学習した顔ベースchrominance検出器がreal FF++動画の99%以上をfakeと分類することを確認。

- rPPGスタイル検出器は生理信号ではなく、高周波アーティファクトや動画ソース（source）を主に符号化している可能性が示唆される。 - 単一フレームからの顔アニメーションが同じ高周波信号を導入する一方、各フレームを自身のソースから再構成する場合は導入されない点が議論の対象。 - CLIPベース検出器も同様の挙動を示し、frozen CLIP backboneがCLIPとrPPG/周波数特徴のfusionと同等以上であることから、rPPG特徴の付加価値に疑問。 - 公式Celeb-DF/Celeb-DF++ splitのidentity・source-video共有と、test動画・identityをtrainで再利用するカスタムプロトコルによるAUC膨張（最大0.30）が評価の妥当性に関する議論を提起。 - 要旨からは、検出器の一般化や実運用への具体的な影響についての詳細は不明。

- rPPGベースのdeepfake検出を提案した先行研究（専用rPPG抽出器を用いる手法）。 - Celeb-DFおよびCeleb-DF++のデータセット論文とそのsplit設計。 - FaceForensics++（FF++）のデータセット論文。 - CLIPベースのdeepfake検出器およびCLIPとrPPG/周波数特徴のfusionを扱う研究。 - self-reenactmentやface animationのgeneratorに関する研究。 - 動画ソースや圧縮・エンコーディングのアーティファクトに着目したdeepfake検出の関連研究。