3D再構成2026/9/4arXiv:2609.05416

WorldSculpt: 接地動画からの構成的3D世界生成

WorldSculpt: Generating Compositional Worlds from Grounded Videos

数百の物体が密集したシーンを、個々の物体メッシュの集合として構成的に3D再構成する手法を提案。単一物体の生成事前分布を多視点観測に適応させ、シーン全体の学習なしで複雑なシーンを生成できることを示した。

詳しい要約

1. どんなもの？

本研究は、数百個のオブジェクトを含む密集したシーンから、共有ワールドフレーム内に配置された個々のオブジェクトメッシュの集合として3Dシーンを生成する問題に取り組む。提案手法は、単一オブジェクト用の強力な3D生成事前分布（Pixal3D）をマルチビュー観測に適応させ、シーンレベルのトレーニングなしで複雑なシーンを構成論的に生成する。また、密集シーンのベンチマークUE-MeshySceneを導入し、評価を行う。

2. 先行研究と比べてどこがすごい？

従来の幾何学ベースの手法はシーンを単一の表現として再構成し、遮蔽領域の幾何学が不完全になる。既存の生成事前分布を用いた構成論的手法は比較的単純なシーンに限られていた。本研究は、単一オブジェクトの生成事前分布をマルチビュー条件付けで拡張することで、数百オブジェクトの複雑なシーンをシーンレベルのトレーニングなしで生成できる点が新しい。

3. 技術・手法の肝は？

手法の核は、Pixal3Dを拡張したマルチビュー条件付け経路である。単一オブジェクトを正準空間で完全にファインチューニングしつつ、複数のポーズ付き観測を条件としてオブジェクト生成を接地する。これにより、重度の遮蔽がある大規模シーンでも一般化する。

4. どうやって有効だと検証した？

単一オブジェクト、制御されたマルチオブジェクト、新しく導入したUE-MeshySceneベンチマークで評価した。UE-MeshySceneは、数百オブジェクトの密集シーンで、オブジェクトごとのアノテーションとグラウンドトゥルースメッシュを持つフォトリアリスティックなベンチマークである。結果、既存手法を一貫して上回り、シーンの複雑さと遮蔽が増すほど性能差が大きくなった。さらに、MarbleやHY-World 2.0などの3DGSワールドを構成論的メッシュシーンに変換できることを示した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な問題についての議論は明示されていない。ただし、シーンレベルのトレーニングをしないことで、シーン特有の文脈（オブジェクト間の相互作用など）を捉えられない可能性が考えられるが、要旨では触れられていない。

6. 次に読むべき論文は？

要旨で参照されているPixal3D、および関連する3D生成事前分布を用いた構成論的シーン生成手法（例：Object-Centric NeRFや生成モデルを用いたシーン合成）が挙げられる。具体的には、Pixal3Dの原著論文や、3DGS（3D Gaussian Splatting）を用いたシーン表現の研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Muyao Niu, Jixuan He, Ruihan Yu, Lian Fu, Yonghao Yu, Zheng-Hui Huang, Yifan Zhan, Fengbo Lan, Yongtao Ge, Yinqiang Zheng, Kaipeng Zhang, Zhixiang Wang

分類: cs.CV

原文アブストラクト

We study the problem of generating a compositional 3D representation of a cluttered scene containing hundreds of objects. The goal is to represent the scene as a collection of individual object meshes placed in a shared world frame, as required by downstream applications such as gaming, AR/VR, simulation, and robotics. This task is challenging in densely cluttered scenes, where objects heavily occlude one another and each view reveals only a fraction of their geometry. Geometry-based approaches typically reconstruct the scene as a single representation and leave incomplete geometry in occluded regions, while existing compositional methods with generative priors are largely limited to relatively simple scenes. We show that complex scenes with hundreds of objects can instead be generated compositionally by adapting a strong single-object 3D generative prior to multi-view observations. We instantiate this paradigm with Pixal3D, extending it with a multi-view conditioning pathway that grounds object generation in multiple posed observations. Although the model is finetuned entirely on single objects in canonical space, it generalizes to large scenes with severe occlusion without any scene-level training, demonstrating the feasibility and scalability of this paradigm. We further introduce UE-MeshyScene, a photorealistic benchmark of densely cluttered scenes with hundreds of objects, per-object annotations, and ground-truth meshes. Across single-object, controlled multi-object, and UE-MeshyScene evaluations, our method consistently outperforms prior approaches, with larger gains as scene complexity and occlusion increase. Finally, we demonstrate broader applicability by converting generated 3DGS worlds, such as Marble and HY-World 2.0, into compositional mesh scenes.

arXivで原文を読む →arXiv概要ページ