Mover360: 360度パノラマ画像における制御可能な物体操作

Mover360は、360°パノラマ画像（equirectangular projection, ERP）におけるオブジェクト操作のための制御可能なフレームワークである。主にオブジェクトの移動（Translation）を中心とし、参照画像ガイドによる挿入（Insert）と削除（Remove）を補助タスクとしてサポートする。ユーザーは点、バウンディングボックス、マスクのいずれかで操作対象を指定でき、各タスクは固定プロンプトとERPに整合したコンパクトな指示マップにエンコードされる。デフォルトの点モードでは、1回のクリックでオブジェクトを移動でき、モデルはパノラマコンテキストと深度条件からサイズ、支持面、照明を推論する。

既存の透視画像向けエディタは、ERP特有の水平方向のラップアラウンド、緯度依存の歪み、グローバルなシーン連続性を扱えず、オブジェクトレベルの編集が困難である。Mover360はこれらの課題を直接扱う点で優れている。また、点・bbox・マスクの3種類の制御を統一的なインターフェースで扱える点、軽量な拡散トランスフォーマー適応で実装されている点、大規模なペアデータを生成するUE5パイプラインを構築した点が新しい。

手法の核は、事前学習済み拡散トランスフォーマーへの軽量な適応である。各タスクを固定プロンプトとERP整合の指示マップにエンコードし、点モードではクリック位置を指示マップに変換する。深度条件を追加し、パノラマコンテキストを利用してオブジェクトのサイズ、支持面、照明を推論する。また、UE5データ生成パイプラインを構築し、サーフェス認識オブジェクト配置とランダム化照明により大規模なペアデータを生成する。

合成と実写の両方のパノラマを含むデュアルドメインベンチマークを構築し、3つのタスクすべてのグラウンドトゥルースを用意した。2つの評価プロトコル（再構成忠実度、意味的一貫性、分布品質）で、透視編集、挿入、インペインティングの強力なベースラインと比較し、Mover360が優れていることを示した。

要旨からは、議論の詳細は不明である。ただし、提案手法が透視画像向けの既存手法を上回ることを示しているが、実世界の多様なシーンでの汎化性や、複雑なオブジェクト操作（回転やスケール変更など）への拡張性については言及がない。また、UE5で生成した合成データが実写データにどの程度転移するかについての詳細な分析も要旨からは不明である。

要旨で参照されている関連研究として、透視画像編集（perspective editing）、挿入（insertion）、インペインティング（inpainting）のベースライン手法が挙げられる。具体的な論文名は不明だが、これらの分野の定番手法（例：拡散モデルを用いた画像編集、物体挿入、インペインティング）を読むことが推奨される。また、360°画像処理の基礎として、equirectangular projectionやパノラマ画像の編集に関する研究も関連する。