拡散モデル/機械的忘却2026/10/23arXiv:2610.32059

コンセプト鍼灸師：スパースオートエンコーダによる拡散モデルの効率的で精密な概念消去法

Concept Acupuncturist: An Efficient and Precise Concept Erasure Method for Diffusion Models via Sparse Autoencoders

拡散モデルから特定概念を消す際、U-Netのクロスアテンションブロックと概念の対応を解析して狙い撃ちし、スパースオートエンコーダで概念の絡みを解きほぐして高精度・高効率に消去する手法を提案。

詳しい要約

1. どんなもの？

- 拡散モデル(diffusion models)から特定の概念を選択的に消去する machine unlearning (MU) フレームワーク「ConceptACP」を提案した研究。 - 有害・ポリシー違反コンテンツの生成を抑えつつ、一般的な生成能力は保持することを目的とする。 - interpretability-guided analysis と inference-free fine-tuning を統合する。 - SDXL-Turbo 上で実装され、他の Stable Diffusion backbones にも汎化する。

2. 先行研究と比べてどこがすごい？

- 既存 MU 手法は概念表現の分散・絡み合い(entanglement)のため、full diffusion trajectory 上の大規模 fine-tuning では最適化が非効率で編集が不正確になりやすい。 - ConceptACP は full diffusion trajectory の最適化を回避し、fine-tuning 効率を改善する。 - 外部の inference-time モジュールを不要にしつつ、効率的で細粒度の unlearning を実現する。 - SDXL-Turbo の標準 one-step 生成設定で、最良 baseline 比 average 36.34 percentage points の forgetting success rate 改善。

3. 技術・手法の肝は？

- 意味概念と U-Net denoiser 内の cross-attention blocks の対応を構築し、概念に最も関連する block を特定して標的化最適化を行う。 - これにより full diffusion trajectory の最適化を避ける。 - 概念の絡み合いを緩和するため、Sparse Autoencoders (SAEs) に基づく feature-level correction mechanism を提案。 - SAE 由来の sparse で意味的に有意な feature activations を操作して correction signals を構築し、対応 block の出力空間へ投影して概念消去の supervision とする。

4. どうやって有効だと検証した？

- SDXL-Turbo に実装し、標準 one-step 生成設定で評価。 - 最良 baseline 比で forgetting success rate が平均 36.34 percentage points 向上。 - 画像品質と prompt fidelity を保持。 - 他の Stable Diffusion backbones への汎化も確認。 - コード公開あり(https://github.com/Eran-Xia/ConceptACP)。

5. 議論はある？

- 要旨からは不明(具体的な限界・失敗ケース・倫理的議論の詳細は記述されていない)。 - 主張として、概念表現の分散・絡み合いへの対処が既存手法の課題であり、SAE ベースの feature-level correction で緩和する点が議論の中心。

6. 次に読むべき論文は？

- Sparse Autoencoders (SAEs) を用いた解釈性・特徴操作の関連研究。 - machine unlearning (MU) の既存手法(baseline 群)。 - Stable Diffusion / SDXL-Turbo の cross-attention 制御に関する研究。 - 要旨で個別論文名の参照はないため、上記は関連手法・分野の一般名。 - 公開コード(ConceptACP)の実装も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiran Xiahou, Siliang Qin, Kai Chen, Shengzhi Zhang, Renyang Liu

分類: cs.CV, cs.AI, cs.CR, cs.LG

原文アブストラクト

Diffusion-based image generation models produce high-quality images but may generate harmful or policy-violating content, motivating machine unlearning (MU) to selectively remove target concepts while preserving general capabilities. However, existing MU approaches often struggle with the distributed and entangled nature of concept representations, leading to inefficient optimization and imprecise edits when applied through large-scale fine-tuning over full diffusion trajectories. To bridge this gap, we propose Concept Acupuncturist (ConceptACP), a novel MU framework that integrates interpretability-guided analysis with inference-free fine-tuning for efficient and precise concept removal. By establishing mappings between semantic concepts and cross-attention blocks in the U-Net denoiser and localizing the most concept-relevant block for targeted optimization, ConceptACP avoids full diffusion trajectory optimization, thereby improving fine-tuning efficiency. To mitigate concept entanglement, we propose a feature-level correction mechanism based on Sparse Autoencoders (SAEs), where SAE-derived sparse, semantically meaningful feature activations are manipulated to construct targeted correction signals, which are then projected back to the output space of the corresponding block and used as supervision for precise concept removal. Consequently, ConceptACP eliminates the need for external inference-time modules while achieving efficient and fine-grained unlearning. Instantiated on SDXL-Turbo, ConceptACP improves the forgetting success rate by 36.34 percentage points in the standard one-step generation setting on average over the best-performing baseline, while preserving image quality and prompt fidelity, and generalizes effectively across other Stable Diffusion backbones. Our code is available at https://github.com/Eran-Xia/ConceptACP.

arXivで原文を読む →arXiv概要ページ

← 論文一覧