日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

拡散モデル制御arXiv:2611.19440

拡散トランスフォーマーの画像活性から概念方向を抽出する少数ショットステアリング

Few-Shot Visual Concept Extraction for Steering Diffusion Transformers

シェア:XThreadsFacebookLINEはてブBluesky

拡散トランスフォーマーの画像側活性を使い、少数のプロンプト対から照明やスタイル・物体色などの概念方向を学習なしで抽出し、推論時に注入して連続的に制御する手法を提案した。

詳しい要約

1. どんなもの?

- Diffusion Transformers (DiT) の画像側 activation から visual concept direction を抽出し、生成画像の概念を連続的に操作する steering 手法。 - few-shot の positive/negative prompt ペアのみで概念方向を獲得し、推論時に注入する training-free フレームワーク。 - 照明・天候・スタイルのような scene-level 概念と、物体色・テクスチャ・素材・顔属性のような local 概念の両方を対象とする。

2. 先行研究と比べてどこがすごい?

- 既存の diffusion steering は主に text-conditioning space を操作するか、高コストな auxiliary training に依存していた。 - 本研究は画像側 activation から直接概念方向を抽出する点で異なる。 - 定量評価で text-encoder steering や training-free activation-editing baseline を上回り、専用 editing model とも競合する性能を示す。

3. 技術・手法の肝は?

- 中間 residual に対する単純な difference-of-means estimator で few-shot 概念抽出を行う。 - scene-level 概念は image token 全体に分散するため global difference-of-means を使用。 - local 概念は特定領域に集中するため masked difference-of-means を用い、局所信号が global averaging で希釈されるのを防ぐ。 - 抽出した再利用可能な概念方向を推論時に注入し、patch level で適用することで連続的・合成的な steering を可能にする。

4. どうやって有効だと検証した?

- 定量評価により、text-encoder steering および training-free activation-editing baseline を上回ることを示す。 - 専用の editing model と競合する性能を確認。 - patch level 適用により、同一画像内で複数概念を操作する precise targeted and compositional steering が可能であることを示す。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- scene-level 概念が image token に分散し、local 概念が特定領域に集中するという観察に基づき、global と masked の使い分けを提案。 - 局所信号の希釈を防ぐ設計の重要性を議論。 - patch level 適用による合成的 steering の可能性を示唆。 - 限界や失敗ケース、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- text-encoder steering 関連手法(例: prompt-to-prompt 系の text-conditioning space 操作)。 - training-free activation-editing baseline 関連手法。 - 比較対象となった specialized editing model 関連論文。 - Diffusion Transformers (DiT) の activation 解析に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nabyl Quignon, Antitza Dantcheva

分類: cs.CV

原文アブストラクト

Image steering aims to provide fine-grained control over concepts in generated images, enabling targeted and continuous manipulation without broadly altering the generation process. Recent steering methods for diffusion models primarily focus on the text-conditioning space or rely on costly auxiliary training. Deviating from that, we here propose a novel steering approach that extracts visual concept directions directly from the image-side activations of Diffusion Transformers. Specifically, we showcase few-shot concept extraction in the activation space using a simple difference-of-means estimator over intermediate residuals. We observe (a) scene-level concepts such as lighting, weather, and style are distributed across image tokens, as well as (b) local concepts such as object colors, textures, materials, and facial attributes are concentrated in specific regions. Towards controlling both concepts, we introduce a new unified training-free framework that uses global difference-of-means for (a) distributed concepts and masked difference-of-means for (b) local concepts, preventing local signals from being diluted by global averaging. Notably, using only a handful of positive and negative prompt pairs, our method identifies and extracts reusable concept directions that can be injected at inference for continuous steering. Quantitatively, our method outperforms text-encoder steering and training-free activation-editing baselines, as well as is competitive with specialized editing models. Our results suggest that as concept directions can be applied at patch level, our method enables precise targeted and compositional steering, manipulating multiple concepts in the same image.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI