日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
画像生成arXiv:2610.32390

予約領域を厳密に保持するプロンプト認識型アニール拡散サンプリング

PASTA: Prompt-Aware Annealed Diffusion Sampling

シェア:XThreadsFacebookLINEはてブBluesky

テキストから画像生成する際に、見出しやロゴ用の領域を保ちながら自然な画像を生成する学習不要のサンプリング手法PASTAを提案。

詳しい要約

1. どんなもの?

- 拡散モデル(Diffusion models)による画像生成において、見出し・ロゴ・UI要素などのために指定領域を空けておく(clean なまま保持する)ことを可能にする、training-free のサンプリングフレームワーク。 - 提案名は Prompt-Aware Shared-Latent Training-Free Annealed Diffusion Sampling(PASTA)。 - 予約領域(reserved region)制約を、サンプリング中にオブジェクト許可領域へ選択的に意味的ガイダンスを適用することで強制する。

2. 先行研究と比べてどこがすごい?

- 既存の layout-aware text-to-image 手法は予約領域を厳密に保持できず、不要なコンテンツが混入し下流の編集を難しくする。 - 既存手法は attention 操作でコンテンツを退避させるか、noise-level 介入で conditioning を抑制するが、視覚的コヒーレンスを犠牲にし、平坦な領域や予約/非予約領域間の顕著なスタイル不整合を生む。 - PASTA は training-free のまま予約領域の忠実性を高めつつ、画像全体のリアリズムと知覚的一貫性を保つ点が異なる。

3. 技術・手法の肝は?

- 共有潜在軌跡(shared latent trajectory)上で動作し、full-prompt ガイダンスと context-prompt ガイダンスを mask-guided sampling により融合する。 - 予約領域制約を、オブジェクト許可領域にのみ選択的に意味的ガイダンスを適用することで実現。 - annealed schedule を導入し、初期 denoising 段階での意味的リーク(semantic leakage)を抑制し、後段で視覚的一貫性を段階的に回復させる。 - 全体として training-free の枠組み。

4. どうやって有効だと検証した?

- Extensive experiments により、予約領域の忠実性(reserved-region fidelity)を改善しつつ、画像全体のリアリズムと知覚的一貫性を保つことを示した、と要旨は述べる。 - 具体的なデータセット名・評価指標・比較手法名は要旨からは不明。

5. 議論はある?

- 要旨からは不明(限界や失敗ケース、計算コスト、マスク指定方法などの議論は明示されていない)。 - 示唆される論点として、予約/非予約領域間のスタイル整合性と意味的リーク抑制のトレードオフが挙げられるが、詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で明示的に参照されている個別論文名はない。関連手法カテゴリとして、layout-aware text-to-image、attention 操作によるコンテンツ退避、noise-level 介入による conditioning 抑制の各手法が比較対象として挙げられる。 - 同分野の定番として、Diffusion models の training-free サンプリング(classifier-free guidance 等)や、mask 条件付き生成(inpainting / layout-to-image)関連の研究を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ren Ajiki, Ryugo Morita, Stanislav Frolov, Brian Bernhard Moser, Ko Watanabe, Riku Takahashi, Andreas Dengel, Jinjia Zhou

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

While Diffusion models produce high-quality images, real-world visual design requires intentionally preserving clean regions for headlines, logos, or UI elements. Existing layout-aware text-to-image methods struggle to strictly preserve reserved regions, often introducing unwanted content that complicates downstream editing. Existing approaches either manipulate attention to displace content or suppress conditioning via noise-level interventions. However, these methods sacrifice visual coherence, producing flat regions or noticeable style inconsistencies between reserved and non-reserved areas. To address this limitation, we propose a Prompt-Aware Shared-Latent Training-Free Annealed Diffusion Sampling (PASTA), a training-free framework that enforces reserved-region constraints by selectively applying semantic guidance to object-allowed regions during sampling. PASTA operates on a shared latent trajectory, where full-prompt and context-prompt guidance are fused through mask-guided sampling. An annealed schedule suppresses semantic leakage during early denoising stages while gradually restoring visual consistency in later stages. Extensive experiments demonstrate that PASTA improves reserved-region fidelity while preserving overall image realism and perceptual consistency.

関連論文

PR本紙発行元 EmplifAI