OrnaStyler: 装飾を考慮した潜在編集によるコンテンツ保存型3Dスタイライゼーション

OrnaStylerは、テキストガイドによる3Dアセットの装飾認識スタイル編集のためのゼロショットフレームワーク。既存の3Dアセットの形状とオブジェクトのアイデンティティを保ちつつ、微細な構造的装飾を統合する。rectified flowベースの生成モデリング上に構築され、ジオメトリとアピアランスの両レベルでコンテンツ認識の潜在表現を段階的に回復する反転ガイド編集戦略を導入。ジオメトリレベルではフロー反転によるボクセル表現の操作で装飾強化構造を合成し、アピアランスレベルでは隣接認識の特徴インペインティング機構で新規装飾と元コンテンツを調和させる。推論フェーズのみで動作し、幾何学的拡張または外観スタイリングの選択的編集を可能にする。

先行研究は3D形状モデリングで急速に進歩しているが、既存アセットの忠実なスタイリングは、微細な構造的装飾を伴う場合に困難であり、ソース形状とオブジェクトのアイデンティティを保ちつつ、スタイル固有の詳細を統合する必要がある。OrnaStylerは、スタイル要素の空間構成を明示的にモデル化することで、ボクセル空間におけるコンテンツ保存とスタイル表現の根本的な緊張を緩和する。ゼロショットで推論フェーズのみで動作し、先行手法と比較して最先端の編集性能を達成。

手法の肝は、rectified flowベースの生成モデリング上で、反転ガイド編集戦略を用いて、ジオメトリとアピアランスの両レベルでコンテンツ認識の潜在表現を段階的に回復すること。ジオメトリレベルでは、フロー反転によりボクセル表現を操作して装飾強化構造を合成し、ソースアセットの空間的アイデンティティを保存。アピアランスレベルでは、隣接認識の特徴インペインティング機構を導入し、新規生成された装飾と元コンテンツを調和させ、一貫したジオメトリ-アピアランス統合を実現。

生成された3Dアセットと実世界の3Dアセットの両方で、先行手法と比較した広範な実験を実施。コンテンツ保存、スタイル忠実度、全体的な視覚的リアリズムの観点で最先端の編集性能を達成したことを示した。

要旨からは、議論の詳細は不明。ただし、ゼロショットで推論フェーズのみで動作する点や、選択的編集が可能な点は利点として挙げられる。一方で、装飾の複雑さや多様性に対する限界、計算コスト、実世界の多様なアセットへの適用可能性などが議論の余地があるかもしれないが、要旨には明記されていない。

要旨で参照されている先行研究や関連手法は明示されていないが、rectified flow-based generative modeling、inversion-guided editing、feature inpainting、3D stylization、text-guided editingなどの関連分野の論文が考えられる。具体的には、3Dアセットのテキストガイド編集に関する最近の研究や、flow-based生成モデルを用いた画像編集の手法などが関連する。