NullEdit: VLM条件リダイレクトによるステルス画像保護

NullEditは、VLMと拡散トランスフォーマー（DiT）を組み合わせた画像編集モデルによる、公開画像の不正な編集を防ぐための推論時防御手法。既存の防御が編集を無効化する際に画像を破壊して保護を露呈するのに対し、NullEditは編集要求を抑制しつつ、画像を自然で元の内容を保つようにし、悪意のある指示による有害な意味内容を出力しない「ステルスで無害なno-op」を実現する。具体的には、参照画像と指示から形成されるVLM表現を、通常編集と無編集のアンカーを用いてリダイレクトし、編集を無効化する。

既存の推論時防御は、編集を無効化するために画像に目立つ破壊を加えるか（保護が露呈）、編集を許容してアイデンティティや参照内容がドリフトする（編集行為自体を防げない）かのいずれかだった。NullEditは、編集を抑制しつつも画像の自然さとソース内容を保ち、悪意のある指示による有害な意味内容を出力しない点で優れている。さらに、クロスプロンプト勾配平均化により、訓練時に見ていない指示にも防御を転移できる。

NullEditは、下流のDiTバックボーンに条件付けされる前に、参照画像と指示から共同で形成されるVLM表現をターゲットにする。通常編集アンカーと無編集アンカーを用いて、この表現をリダイレクトする。具体的には、無編集アンカー方向に表現を移動させることで編集を抑制し、通常編集アンカーとの距離を保つことで自然さを維持する。さらに、クロスプロンプト勾配平均化を用いて、複数の指示に対する勾配を平均化し、未知の指示に対する防御の一般化を図る。

Step1X-EditとQwen-Image-Editの2つの編集モデルを用い、CelebA-HQとVGGFace2データセットで評価。SOTAベースラインと比較して、EditReward IFスコアを平均0.813削減し、被写体のアイデンティティとソース内容を保持することを確認した。

要旨からは、防御の堅牢性や計算コスト、他の編集モデルへの適用可能性、悪意のある指示の種類による効果の差などは不明。また、EditReward IFスコアの削減が編集抑制の指標として適切かどうか、主観的な自然さの評価が欠如している可能性も議論の余地がある。

要旨で参照されているSOTAベースライン（具体的な名称は不明）や、関連する推論時防御手法、VLMとDiTを組み合わせた画像編集モデル（Step1X-Edit、Qwen-Image-Edit）の論文、および拡散モデルの安全対策に関する研究が挙げられる。