拡散モデル2026/8/13arXiv:2608.12829

意味的ステアリングによる制御可能な生成：マルチモーダル拡散トランスフォーマーにおけるチューニング不要の概念消去

Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers

マルチモーダル拡散トランスフォーマー（MM-DiT）の内部表現を操作し、学習なしで不要な概念を消去する手法を提案。中間ブロックのテキスト条件付き表現からステアリングベクトルを構築し、注入することで安全な生成を実現する。

詳しい要約

1. どんなもの？

本論文は、Multimodal Diffusion Transformers (MM-DiTs) における概念除去（concept erasure）のためのチューニング不要な手法を提案している。MM-DiTsは高品質なテキストから画像への生成が可能だが、不適切なコンテンツを生成するリスクがある。既存の概念除去法はパラメータ変更を伴うものが多く、大規模モデルには適用しにくい。提案手法は、モデルの内部表現を直接操作することで、学習なしに概念を除去する。具体的には、MM-DiTの中間ブロックから不要な概念と安全な概念の表現を抽出し、その差分からsteering vectorを構築し、これを初期および中間ブロックに注入する。テキストブランチのスパースなトークンのみを操作し、rectified flowの直線的なサンプリング軌道を利用することで、オーバーヘッドを最小限に抑えている。

2. 先行研究と比べてどこがすごい？

既存のconcept erasure手法は、モデルパラメータの変更を伴うものが多く、アーキテクチャ固有であり、大規模なデプロイ済みモデルには実用的でない。また、チューニング不要のアプローチも、MM-DiTsの深く埋め込まれた知識、広い意味空間、文脈依存のテキストエンコーダにより、高度な大規模MM-DiTsには適用が困難であった。提案手法は、内部表現の操作に基づき、パラメータ変更を一切行わず、MM-DiTのブロックごとの生成役割の分析から、テキスト条件付きの意味表現が中間ブロックで最も顕著であるという洞察を得て、単一のsteering vectorを注入するだけで効果的な除去を実現する点が新しい。

3. 技術・手法の肝は？

手法の肝は、MM-DiTのブロックごとの生成役割の分析に基づき、テキスト条件付きの意味表現が中間ブロックで最も顕著であることを見出した点。具体的には、不要な概念（unwanted concept）と望ましい安全な概念（desirable safe one）の表現を中間ブロックから抽出し、その差分からsteering vectorを構築する。このベクトルを連続する初期および中間ブロックに注入する。操作はテキストブランチのスパースなトークンのみに限定され、rectified flowの直線的なサンプリング軌道を利用することで、追加の学習や大きなオーバーヘッドなしに効果的な概念除去を実現する。

4. どうやって有効だと検証した？

MM-DiTモデルを用いた広範な実験により、多様な概念の除去において最先端の性能を達成し、最終出力の効果的な制御が可能であり、敵対的攻撃に対しても堅牢であることを検証した。具体的なデータセットや評価指標は要旨からは不明だが、複数の概念除去タスクと攻撃耐性の評価を行ったと述べられている。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な問題についての議論は明示されていない。ただし、内部表現の操作に基づくため、モデルの構造や概念の複雑さによっては効果が異なる可能性が考えられるが、詳細は不明。また、steering vectorの構築に安全な概念の表現が必要であり、その選択が結果に影響する可能性があるが、要旨には記載がない。

6. 次に読むべき論文は？

要旨で参照されている先行研究や関連手法は明示されていないが、同分野の定番として、concept erasureに関する既存研究（例：パラメータ変更型の手法）や、Diffusion Transformersの内部表現分析に関する研究が挙げられる。具体的には、U-Netベースの拡散モデルにおけるconcept erasure手法や、MM-DiTのアーキテクチャに関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiao Li, Xiaomeng Fu, Yuanshu Zhao, Qipeng Wang, Jiao Dai, Jizhong Han

分類: cs.CV

原文アブストラクト

Multimodal Diffusion Transformers (MM-DiTs) have demonstrated remarkable text-to-image generation performance, surpassing traditional U-Net-based diffusion models. Nevertheless, their powerful generative capabilities also raise significant safety concerns, as they may generate sensitive or inappropriate content. While existing concept erasure methods aim to mitigate such risks, most require modifying model parameters, which are often architecture-specific and impractical for deployed larger models. Several tuning-free approaches face challenges when applied to advanced large-scale MM-DiTs due to their deeply embedded knowledge, broad semantic space, and context-dependent text encoders. To address these challenges, we propose to erase concepts by directly manipulating the model's internal representations. Our key insight, derived from an in-depth analysis of MM-DiT's block-wise generative roles, is that text-conditioned semantic representations are most salient in the middle blocks of MM-DiTs. Based on this, we extract representations of an unwanted concept and a desirable safe one from the middle block, construct a steering vector from their difference, and inject this single vector into consecutive early and middle blocks. By operating exclusively on the sparse text-branch tokens and leveraging the straight sampling trajectory of rectified flow, our method achieves effective concept erasure with negligible overhead and without any training. Extensive experiments across MM-DiT models demonstrate that our method achieves state-of-the-art performance in erasing diverse concepts, enables effective control over the final output, and remains robust to adversarial attacks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧