3D再構築2026/8/25arXiv:2608.23930

SceneReGen: 単一画像からの3Dシーン生成再構築

SceneReGen: Generative Reconstruction of 3D Scenes from a Single Image

単一画像から3Dシーンを再構築する際、物体の生成とシーン配置のギャップを埋めるため、観測された姿勢を直接メッシュにエンコードし、位置とスケールを推定する生成フレームワークを提案。

詳しい要約

1. どんなもの？

SceneReGenは、単一画像から3Dシーンを生成的に再構成するフレームワークである。部分観測された物体を完全なメッシュとして生成し、それらを観測と整合する共有シーン座標系に配置する。物体レベルの生成事前分布を利用しつつ、物体の向きを生成メッシュに直接エンコードし、並進とスケールをインスタンスおよびシーンレベルの証拠から推定する。

2. 先行研究と比べてどこがすごい？

従来の物体レベルの生成事前分布は、中心化・正規化された出力を物体座標系で生成するため、シーン再構成との表現ギャップがあった。SceneReGenは、選択的ポーズ因子分解により、観測された向きを生成メッシュに直接組み込み、翻訳とスケールを別途推定することで、このギャップを解消する。

3. 技術・手法の肝は？

シーン画像とインスタンスマスクから、幾何エンコーダが密な手がかりを抽出する。学習可能なシェイプクエリが、事前学習済みのDiTベースの3D生成器を条件付け、観測された向きの完全なメッシュを生成する。一方、ポジションクエリが物体特徴とシーン特徴を融合し、共有フレーム内での配置を決定する。

4. どうやって有効だと検証した？

3D-FUTURE評価サブセットで、シーンレベルのChamfer Distance、F-Score、3DバウンディングボックスIoUで最良を達成し、物体レベルのCDで最良タイ、物体レベルF-Scoreで2位となった。また、自動運転や身体化AIシーンでの定性的出力も示された。

5. 議論はある？

要旨からは、物体レベルのF-Scoreで2位に留まる点や、室内家具以外のシーンでの定量的評価が不明である点が議論の余地として考えられるが、詳細は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されているDiTベースの3D生成器や、3D-FUTUREデータセットを用いた研究、および物体レベルの生成事前分布に関する論文が関連する。具体的には、DiT (Diffusion Transformer) を用いた3D生成モデルや、単一画像からの3Dシーン再構成の既存研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zefan Tian, Yuteng Ye, Yiheng Zhang, Yuhang Yang, Xueqiang Lv, Shizhou Zhang, Le Liu, Di Xu

分類: cs.CV

原文アブストラクト

Single-image 3D scene reconstruction must complete partially observed objects and place them coherently in a shared observation-aligned scene frame. Object-level generative priors offer strong completion ability, but their centered, scale-normalized outputs are typically expressed in an object frame, creating a fundamental representation gap between object generation and scene reconstruction. We introduce SceneReGen, a generative reconstruction framework that reinterprets scene reconstruction as the generation and assembly of complete object assets in a shared observation-aligned scene frame. SceneReGen addresses the generation-reconstruction gap through selective pose factorization: each object's observed orientation is encoded directly in the generated mesh, while translation and scale are estimated from instance-level and global scene evidence. Given a scene image and instance masks, a geometry encoder extracts dense cues; learnable shape queries condition a pretrained DiT-based 3D generator to produce complete meshes in their observed orientations, while position queries fuse object and scene features to assemble them in the shared frame. On the 3D-FUTURE evaluation subset, SceneReGen achieves the best scene-level CD, scene-level F-Score, and 3D bounding-box IoU among the evaluated methods, ties the best object-level CD, and ranks second in object-level F-Score. Qualitative outputs in autonomous-driving and embodied-AI scenes further illustrate the potential of asset-centric reconstruction beyond indoor furniture.

arXivで原文を読む →arXiv概要ページ