日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
画像スタイライゼーションarXiv:2608.08125

原点を守る:スムーズな遷移を伴う連続画像スタイライゼーション

Staying True to the Origin: Continuous Image Stylization with Smooth Transitions

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、画像の内容を保ちながらスタイルを連続的に制御できるスタイライゼーション手法を提案する。2段階の訓練戦略とスタイル強度を考慮したスプライン補間により、離散的な強度レベルから連続的なスタイル操作を実現する。

詳しい要約

1. どんなもの?

本論文は、Diffusion Transformer (DiT)ベースのマルチ参照編集モデルを用いて、コンテンツ画像の意味構造を保ちつつ、スタイル画像のパターンを参照し、スタイライゼーション強度を連続的に制御できる画像スタイライゼーション手法を提案する。

2. 先行研究と比べてどこがすごい?

従来のスタイライゼーション手法は、コンテンツ保存とスタイル適用のトレードオフを制御することが難しく、結果が不安定になることがあった。本手法は、2段階トレーニング戦略とスタイル強度認識スプライン補間により、強度の連続制御を可能にし、高品質な結果を実現する点が新しい。

3. 技術・手法の肝は?

手法の核は、(1) 第1段階でコンテンツ意味を可能な限り保ちながら強くスタイライズされた出力を生成するようモデルを訓練し、(2) 第2段階ではベースモデルを凍結し、様々なスタイライゼーション強度をモデルパラメータ空間にマッピングするアンカープロジェクタのセットを学習する。推論時には、低ランク空間でスタイル強度認識スプライン補間を行い、離散的な強度レベルで訓練されたモデルでも連続的な強度制御を実現する。

4. どうやって有効だと検証した?

実験では、提案手法がDiTモデルを用いて、スタイライゼーション強度の精密かつ連続的な操作をサポートし、高忠実度の結果を生成することを示した。具体的な評価指標や比較対象は要旨からは不明。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な問題についての議論は不明。ただし、強度制御の連続性とコンテンツ保存のトレードオフに関する詳細な分析は、論文内で議論されている可能性がある。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、DiTベースのマルチ参照編集モデルや、スタイライゼーション強度制御に関する研究が関連する。具体的には、Diffusion Transformerを用いた画像編集や、スタイル転送の強度制御に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rui Xu, Hanmo Zhang, Songhua Liu

分類: cs.CV

原文アブストラクト

Recent advances in generative models have achieved remarkable performance in text- and image-conditioned editing. However, preserving the content of a given image while referencing style patterns from another remains challenging, often leading to uncontrollable stylization results. In this paper, we approach image stylization from the perspective of continuous control, aiming to enable modern Diffusion Transformer (DiT)-based multi-reference editing models to (1) faithfully preserve the semantic structure of the content image, (2) render strong stylization effects, and (3) smoothly transition between the two. To this end, we propose a simple yet effective two-stage training strategy along with a style-strength-aware spline formulation. Specifically, in the first stage, the model is trained to produce strongly stylized outputs while preserving the content semantics as much as possible. In the second stage, with the base model frozen, we learn a set of anchor projectors that map various stylization strengths into the model parameter space. During inference, by performing style-strength-aware spline interpolation in a low-rank space, our method enables continuous control over stylization strength, even though the model is trained with only a few discrete strength levels. Extensive experiments demonstrate that our method supports precise and continuous manipulation of stylization strength while generating high-fidelity results with modern DiT models. Project page: https://reychiaro.github.io/StyleController.