画像生成2026/9/4arXiv:2609.04939

LensStyle：光学美学を学習し、制御可能なスタイライズドレンズ効果レンダリングを実現

LensStyle: Learning the Optical Aesthetics for Controllable Stylized Lens Effect Rendering

レンズの美学（絞り形状、周辺減光、回折など）を明示的にモデル化し、連続・離散制御を統合した統一フレームワークで、多様なボケ効果やスターバーストなどのスタイライズドレンズ効果を生成する手法を提案した。

詳しい要約

1. どんなもの？

LensStyleは、写真のレンズ特性（絞り形状、光学ビネット、光学回折など）によって決まる美的スタイルを明示的にモデル化し、制御可能なスタイライズドレンズ効果レンダリングを実現する統一フレームワークである。連続的な光学パラメータ（焦点距離、ぼけ強度など）と離散的なレンズスタイル（円形、多角形、ドーナツ、猫目、スターバーストなど）を同時に制御できるDual-Path Controllerを導入し、単一のフレームワークで多様なボケ効果や小絞り時のスターバーストなどの現象を生成する。また、実光学制約に基づくマルチレンズ画像ペアからなるMultiLensデータセットを構築し、モデルのトレーニングと評価に用いている。

2. 先行研究と比べてどこがすごい？

既存のレンズ効果レンダリング手法は、小絞りから大絞りへのぼけ遷移の正確なシミュレーションに焦点を当てており、レンズ効果の美的側面（スタイル）を考慮していない。そのため、大絞りでの多様なボケ効果や、小絞りで現れるスターバーストなどの特徴的な写真現象を生成できない。LensStyleは、連続・離散のジョイント制御によりレンズ美学を明示的にモデル化し、単一フレームワークで多様なスタイルを制御可能にした点が新しい。また、拡散ベースの画像編集モデルと比較しても、物理的に grounded で解釈可能な制御を提供する点で優れている。

3. 技術・手法の肝は？

手法の核は、Dual-Path Controllerである。これは、連続的な光学パラメータ変調（焦点距離、ぼけ強度など）と離散的なレンズスタイル条件付け（円形、多角形、ドーナツ、猫目、スターバーストなど）を分離して扱う。これにより、ユーザーは光学パラメータとスタイルを独立に制御でき、物理的に意味のある操作が可能になる。また、MultiLensデータセットは実光学制約に基づくマルチレンズ画像ペアを合成して構築され、モデルのトレーニングに使用される。

4. どうやって有効だと検証した？

既存のレンズ効果レンダリング手法および拡散ベースの画像編集モデルと比較し、リアリズム、制御可能性、美的品質の点で優れていることを広範な実験により検証した。具体的な評価指標や比較手法の詳細は要旨からは不明だが、定量的・定性的な評価が行われたと推測される。

5. 議論はある？

要旨からは、LensStyleが実光学制約に基づくデータセットを使用している点や、連続・離散制御の解釈可能性が議論の対象となり得る。また、拡散ベースのモデルと比較して物理的根拠に基づく制御を提供する一方で、生成の多様性や編集の柔軟性に関しては議論の余地があるかもしれない。しかし、具体的な議論や限界については要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている既存のレンズ効果レンダリング手法や拡散ベースの画像編集モデルが関連する。具体的には、レンズ効果レンダリングの分野では、ぼけ遷移のシミュレーションに関する研究（例: defocus deblurring, bokeh rendering）が挙げられる。また、拡散ベースの画像編集モデル（例: Stable Diffusion, ControlNet）も関連する。ただし、要旨に明示的な引用がないため、一般的な関連手法を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yachuan Huang, Liwen Xiao, Liao Shen, Qiwen Wang, Huiqiang Sun, Zhiyu Pan, Zhiguo Cao

分類: cs.CV

原文アブストラクト

The visual aesthetics of photographs are deeply influenced by lens characteristics such as aperture shape, optical vignetting and optical diffraction, which together define a camera's unique optical style. Existing lens effect rendering methods primarily focus on accurately simulating the blur transition from small to large apertures but overlook the stylistic aspects of lens effects. As a result, they fail to produce diverse bokeh effects under large apertures or capture distinctive photographic phenomena such as starbursts that emerge under small apertures. In this work, we introduce LensStyle, a unified framework for controllable stylized lens effect rendering that explicitly models lens aesthetics through joint continuous-discrete control. Our model incorporates a Dual-Path Controller that disentangles continuous optical parameter modulation (e.g., focus distance and blur strength) from discrete lens-style conditioning (e.g., circular, polygonal, donut, cat-eye, and starburst effects), enabling fine-grained, interpretable, and physically grounded lens manipulation within a single unified framework. To support model training, we curate a comprehensive MultiLens dataset containing multi-lens image pairs synthesized under real optical constraints. Extensive experiments demonstrate that LensStyle achieves superior realism, controllability, and aesthetic quality compared with existing lens effect rendering approaches and diffusion-based image editing models, advancing computational photography toward multiple-lens-style simulation.

arXivで原文を読む →arXiv概要ページ