画像改ざん検出2026/8/28arXiv:2608.28302v1

FUSED: 法医学的・意味的特徴の混合専門家によるAIインペインティング検出と位置特定

FUSED: Forensic-Semantic Mixture-of-Experts for AI Inpainting Detection and Localization

拡散モデルによる画像の部分改ざん（インペインティング）を検出・位置特定する統一フレームワークを提案。低レベルの法医学的手がかりと高レベルの意味的特徴をスパースゲート型混合専門家アーキテクチャで組み合わせ、画像全体の操作スコアと画素単位のマスクを予測する。

詳しい要約

1. どんなもの？

FUSEDは、拡散ベースのインペインティング（inpainting）による画像改ざんを検出・位置特定する統合フレームワークである。画像レベルの操作スコアとピクセルレベルのマスクを同時に予測する。低レベルのフォレンジック手がかりと高レベルのセマンティック特徴を、スパースにゲートされたMixture-of-Expertsアーキテクチャで組み合わせる。

2. 先行研究と比べてどこがすごい？

従来のAI画像検出器はグローバルなアーティファクトに依存し、局所的なインペインティング領域を特定できない。また、生成器ごとにアーティファクトが異なるため、分布シフト下での転移が限定的である。さらに、インペインティング領域外のピクセルを復元すると検出器の性能が低下することが知られている。FUSEDは、これらの問題に対処し、未見の生成器に対する検出・位置特定性能を大幅に向上させる。

3. 技術・手法の肝は？

FUSEDは、低レベルのフォレンジック手がかりと高レベルのセマンティック特徴を組み合わせる。スパースにゲートされたMixture-of-Expertsアーキテクチャを用いて、各トークンに対して最も関連性の高い信号を適応的に優先する。入力画像ごとに、画像レベルの操作スコアとピクセルレベルのマスクを予測する。

4. どうやって有効だと検証した？

OpenSDIDクロスジェネレータベンチマークで評価し、平均検出・位置特定性能で最高を達成し、特に未見の生成器で最大の改善を示した。また、保持されたAutoSpliceとCocoGlideベンチマークに直接転移し、位置特定性能を2倍以上に向上させた。さらに、各保持ベンチマークをグローバル生成器アーティファクトの有無で評価し、すべての手法がアーティファクトを操作の証拠として部分的に利用していることを示しつつ、FUSEDが両条件で最強であることを確認した。

5. 議論はある？

要旨からは、FUSEDがグローバルな生成器アーティファクトに依存しすぎる可能性があること、また、すべての評価手法がアーティファクトを操作の証拠として利用していることが議論として挙げられる。しかし、FUSEDはアーティファクトがない条件でも最強であるため、ロバスト性が示唆される。

6. 次に読むべき論文は？

要旨で参照されている研究として、OpenSDID、AutoSplice、CocoGlideの各ベンチマークに関連する論文や、拡散ベースのインペインティング検出に関する先行研究が挙げられる。具体的には、インペインティング検出のためのフォレンジック手法や、Mixture-of-Expertsを用いた画像分類の研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anton Nuzhdin, Marcel Worring, Ivona Najdenkoska

分類: cs.CV

原文アブストラクト

Diffusion-based inpainting models modify only a localized part of an image, while many AI-image detectors rely on global artifacts and do not localize. These artifacts vary across generators, limiting detector transfer under distribution shifts. Recent work shows that restoring the authentic pixels outside the inpainted region removes these cues and can degrade pretrained detectors. To address this, we present FUSED, a unified framework for the joint detection and localization of AI-generated inpainting. FUSED combines low-level forensic cues with high-level semantic features using a sparsely-gated Mixture-of-Experts architecture, enabling the model to adaptively prioritize the most relevant signal for each token. For each input, FUSED predicts both an image-level manipulation score and a pixel-level mask of the inpainted area. On the OpenSDID cross-generator benchmark, FUSED achieves the best average detection and localization, with the largest gains on unseen generators. The same model transfers directly to the held-out AutoSplice and CocoGlide benchmarks, more than doubling localization performance. Evaluating each held-out benchmark with and without the global generator artifact further shows that all evaluated methods, ours included, partly read the artifact as evidence of manipulation, and FUSED remains the strongest under both conditions. Code and pretrained models are available at https://github.com/AntonNuzhdin/FUSED.

arXivで原文を読む →arXiv概要ページ