逆レンダリング2026/10/8arXiv:2610.11138

IntrinSync: 固有分解と相互レンダリングの統合フレームワーク

IntrinSync: Joint Intrinsic Decomposition and Reciprocal Rendering

画像を反射率・陰影・法線・粗さ・金属度に同時分解し、逆レンダリングと順レンダリングを相互に整合させることで、物理的に一貫した固有表現を得る手法を提案。

詳しい要約

1. どんなもの？

- 画像をalbedo, shading, surface normal, roughness, metallicに分解するinverse renderingの新フレームワークIntrinSyncを提案。 - チャネル間の相互依存性をjoint-channel modelingで捉え、inverseとforward renderingをreciprocalに統合。 - 画像編集のための物理的に根拠のあるインターフェースも提供。

2. 先行研究と比べてどこがすごい？

- 既存手法はintrinsicチャネルを個別にモデル化するか、inverseとforward renderingを別プロセスとして扱い、相互依存性を十分活用していない。 - IntrinSyncはjoint-channel modelingとreciprocal inverse-forward renderingにより、相互依存性を活用。 - 3つのデータセットで競争力のあるintrinsic estimationとforward rendering性能を示し、coherenceと物理的整合性を改善。

3. 技術・手法の肝は？

- チャネルレベル: 入力RGBをalbedo, shading, surface normal, roughness, metallicに1-to-Nマッピングでjointlyに分解し、生成中にチャネル間で情報交換。 - プロセスレベル: dual cycle-consistent objectiveによりinverse-forward reciprocityを確立し、閉ループで対応する予測を整合。

4. どうやって有効だと検証した？

- 3つのデータセットでの実験により、intrinsic estimationとforward renderingの性能を評価。 - 競争力のある性能とcoherence・物理的整合性の改善を確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。関連手法としてinverse rendering, intrinsic decomposition, cycle consistency, forward renderingの定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zheng Gu, Rui Huang, Xilu Zhang, Jingbo Zhang, Min Lu, Zhida Sun, Dani Lischinski, Daniel Cohen-Or, Hui Huang

分類: cs.CV

原文アブストラクト

Inverse rendering decomposes an image into intrinsic properties such as appearance, illumination, geometry, and material, yet these properties are inherently interdependent. A reliable decomposition should produce intrinsic maps that are not only individually plausible, but also mutually compatible in explaining the image. However, existing methods either model intrinsic channels in isolation or treat inverse and forward rendering as separate processes, leaving the interdependence underexploited. In this paper, we introduce IntrinSync, a unified framework that captures this interdependence through joint-channel modeling and reciprocal inverse-forward rendering. At the channel level, we jointly decompose an input RGB into albedo, shading, surface normal, roughness, and metallic maps through a 1-to-N mapping, enabling information exchange across channels throughout generation. At the process level, we establish inverse-forward reciprocity through a dual cycle-consistent objective that aligns corresponding predictions across a closed loop. Experiments on three datasets demonstrate that our method achieves competitive intrinsic estimation and forward rendering performance, improving coherence and physical consistency. Beyond decomposition, IntrinSync provides a physically grounded interface for image editing, allowing intrinsic properties to be explicitly manipulated and rendered back into RGB images.

arXivで原文を読む →arXiv概要ページ

← 論文一覧