VoxLution: 高精細3Dシーン生成のためのボクセル進化
VoxLution: Evolving Voxels for High-Fidelity 3D Scene Generation
粗い空間レイアウトから局所的にボクセル解像度を段階的に高めるトランスフォーマーにより、既存手法より細かいボクセル解像度で高精細な屋内3Dシーンを生成する手法を提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Daoyi Gao, Xinyi Zhang, Alexey Bokhovkin, Lei Li, Angela Dai
分類: cs.CV
原文アブストラクト
High-resolution 3D indoor scene generation is crucial for immersive applications such as virtual reality, spatial computing, and robotics simulation. We introduce VoxLution, a coarse-to-fine transformer-based approach that generates high-fidelity indoor scenes with rich details, overcoming the overly smooth geometry typical of existing generative models. First, we generate a low-resolution spatial layout; then, based on this structural information, we progressively refine the scene geometry locally in chunks. Key to our approach is formulating 3D super-resolution as a sequence modeling problem over multi-resolution sparse voxel grids. To achieve this, we introduce a training-free, resolution-invariant tokenization scheme that compactly encodes the geometric information of eight octants into a single decimal number. We formulate the transformer sequence to include multiple resolutions, allowing the coarse layout to guide the generation of fine local details. To ensure coherence across local chunks, we incorporate adjacent chunk boundary information directly into the transformer sequencing. VoxLution achieves scene generation at a finer voxel resolution than existing baselines, demonstrating state-of-the-art performance on standard benchmarks with 59.6% lower FPD and 51.1% lower FID on 3D-FRONT, and 70.5% lower FPD and 73.8% lower FID on Scannet++.
関連論文
- LucidLyra: マルチタスク蒸留によるフィードフォワード生成3Dシーン再構成と統合的理解3Dシーン生成
- ScIntBench:3D屋内シーン生成における物理的インタラクションの妥当性評価ベンチマーク3Dシーン生成
- SceneMosaic: ハイブリッドエージェント的レイアウト進化による効率的で多様なシミュレーション対応シーン生成3Dシーン生成
- SpatialCrafter: 生成3Dプロキシを用いた単一画像からのワールドモデリング3Dシーン生成
- Genie Sim PanoWorld: パノラマシーン生成とシミュレーションによる無限屋内3Dワールド生成パイプライン3Dシーン生成
- SimWorlds: 動的3Dシーン生成のためのマルチエージェントシステム3Dシーン生成