汚染ピクセルでディープフェイク動画を暴く

TaintedPixelsは、公開された顔動画をブラックボックス操作ツールによる改ざんから積極的に保護するためのプロアクティブなビデオ保護手法。埋め込んだウォーターマークが公開動画では目立たないが、下流の操作ツールで改ざんされると明らかになるという非対称な可視性トレードオフを利用する。顔領域の青チャンネルに構造化された周期的摂動を注入し、ストライプ可視性、色かぶり、ビデオレベルのLPIPS予算の下で調整する。

既存の防御はほとんどが事後的（post-hoc）で、改ざん後に検出するだけであり、静止画像を対象としている。TaintedPixelsは、ブラックボックス操作ツールに対して設計された最初のプロアクティブ防御であり、画像レベルのパイプラインや特定のサロゲート生成器を対象としていない。また、人間の視聴者への知覚的影響を理解するための研究も含む。

顔領域の青チャンネルに構造化された周期的摂動を注入する。摂動は、ストライプ可視性、色かぶり、ビデオレベルのLPIPS予算の下で調整され、軽量な動き適応型展開を採用する。非対称な可視性トレードオフを利用し、公開動画では目立たないが、操作後は明らかになるように設計されている。

3つの公開されている既製のビデオ操作ツールと2つの既製の検出器を使用して評価し、偽造フェイク率が最も高く、摂動が小さい（LPIPS = 0.0042）ことを示した。さらに、300のビデオ刺激（異なる照明条件、背景、肌色）を用いた非専門家による人間研究を実施し、保護されたソース動画の疑惑率は3.26%である一方、保護されたソースからの偽造は保護されていないソースからの偽造よりもはるかに頻繁に偽物として識別された（90.72%対56.71%）。

要旨からは、議論の余地や限界についての詳細は不明。ただし、プロアクティブ防御の有効性と人間の知覚への影響を検証しているが、実際の攻撃シナリオや他の操作ツールへの一般化についてはさらなる検討が必要かもしれない。

要旨で参照されている研究は、既存の防御（post-hoc検出、画像レベルのパイプライン、特定のサロゲート生成器）に関するもの。次に読むべき論文としては、ブラックボックス操作ツールに対するプロアクティブ防御の関連研究や、ビデオ操作検出の一般的な手法（例：FaceForensics++、DeepFake Detection）が考えられる。