日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
画像編集arXiv:2609.01479v1

CameraEditor: ビデオ事前分布の逐次モデリングによるカメラ制御画像編集

CameraEditor: Camera-Controlled Image Editing via Video-Prior Sequential Modeling

シェア:XThreadsFacebookLINEはてブBluesky

カメラパラメータを明示的に制御できる画像編集フレームワークを提案し、大きな視点変化を時間的なフレーム遷移に分解することで、構造破綻を防ぎつつ高精度なカメラ制御を実現した。

詳しい要約

1. どんなもの?

CameraEditorは、カメラパラメータ(視点移動など)を明示的に制御して画像編集を行うフレームワーク。空間的問題を時系列予測タスクに再構成し、video diffusion modelsの時間的一貫性を活用する。動的パノラマクロッピングによる幾何学的参照ペア構築と、中間遷移フレーム挿入により大きな視点シフトを分解し、コンテンツの同一性と空間的一貫性を保つ。

2. 先行研究と比べてどこがすごい?

従来の画像編集モデルは意味的・スタイル的操作に優れるが、明示的なカメラパラメータ制御が困難。命令駆動型モデルは大きな視点シフトで構造破綻か幾何学的指示を無視した保守的出力のジレンマがあった。CameraEditorはこれを時系列予測に変換し、video diffusion modelsの時間的整合性を利用することで、テキスト指示の曖昧さを克服し、高精度なカメラ制御とソース同一性保持を実現。

3. 技術・手法の肝は?

手法の肝は、(1) 明示的幾何認識モジュールと動的参照ルーティング機構の統合、(2) 動的パノラマクロッピングによる幾何学的に厳密な視覚参照ペアの構築、(3) 中間遷移フレームの戦略的挿入による大きな視点シフトの分解。これにより、テキストベースの指示の曖昧さを排除し、時間的バッファとして機能させてコンテンツ同一性と空間的一貫性を保持する。

4. どうやって有効だと検証した?

5,760インスタンスのトレーニングデータセットを構築し、独立した貢献として462テストケースからなるモデル非依存の評価スイートCamEditor-Benchを導入。大規模な実験により、既存手法と比較してカメラ制御精度とソース同一性保持で最先端を達成したことを示した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な問題(例えば、極端な視点変更や動的シーンでの性能、計算コストなど)についての議論は不明。また、CamEditor-Benchの評価指標の詳細や、他のタスクへの適用可能性についても言及がない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、video diffusion models、画像編集、カメラ制御に関する既存研究が関連する。具体的には、テキスト駆動画像編集モデル(例:InstructPix2Pix)、video diffusion models(例:Stable Video Diffusion)、カメラパラメータ推定・制御の研究などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xin Shen, Chengyou Jia, Keshuo Xing, Zifeng Zhu, Changliang Xia, Bowen Ping, Zhuohang Dang, Hangwei Qian, Minnan Luo

分類: cs.CV

原文アブストラクト

Beyond semantic content, camera parameters play a pivotal role in dictating the geometric perspective and appearance of any given image. While recent image editing models excel at semantic and stylistic manipulation, they struggle with explicit camera parameter control. When handling large perspective shifts, instruction-driven models face a dilemma: they either suffer from structural tearing or generate conservative outputs that ignore geometric instructions. To address this, we introduce CameraEditor, a framework that reformulates camera-controlled editing from a spatial problem into a temporal sequence prediction task. By leveraging the temporal coherence of video diffusion models, our approach integrates an explicit geometric perception module with a dynamic reference routing mechanism. This allows us to construct geometrically rigorous visual reference pairs via dynamic panorama cropping, overcoming the ambiguity of text-based instructions. Furthermore, CameraEditor strategically inserts intermediate transition frames to decompose large perspective shifts, providing a robust temporal buffer that preserves content identity and spatial coherence. We construct a training dataset of 5,760 instances. As an independent contribution, we introduce CamEditor-Bench, a model-agnostic evaluation suite of 462 test cases. Extensive experiments demonstrate that CameraEditor achieves state-of-the-art camera control precision and source identity preservation, outperforming existing methods.

関連論文