日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
3Dシーン生成arXiv:2610.40495

LucidLyra: マルチタスク蒸留によるフィードフォワード生成3Dシーン再構成と統合的理解

LucidLyra: Feed-Forward Generative 3D Scene Reconstruction and Joint Understanding via Multi-Task Distillation

シェア:XThreadsFacebookLINEはてブBluesky

動画拡散モデルと2D基盤モデルの知識を蒸留し、単一画像や動画から意味・インスタンス情報を持つ3Dガウシアンシーンをフィードフォワードで生成・理解するフレームワーク。

詳しい要約

1. どんなもの？

- 単一画像やmonocular videoから、feed-forwardで生成的に3D sceneを再構成するフレームワーク - 再構成された3D sceneをsemanticsやinstancesについて直接query可能にする - 3D Gaussiansにgeometry・appearance・open-vocabulary semantics・class-agnostic instance cuesを統合 - novel-view rendering、open-vocabulary segmentation、object groupingをper-scene optimizationなしで実現 - 3D scene editing、3D asset mining、robotic simulationへの応用を想定

2. 先行研究と比べてどこがすごい？

- 既存の3D understandingはcaptured multi-view scenesを必要とする、generalizationが限定的、またはper-scene processing/optimizationが高コスト - 本手法はper-scene optimization不要でopen-vocabulary segmentationとobject groupingを実現 - 学習に手動の3D annotationsもcaptured multi-view dataも不要 - state-of-the-art 3DGS segmentationと generative 3D scene reconstructionの組み合わせベースラインを上回る - 再構成品質を保ちつつ、monocular videoへ自然に拡張し動的3D sceneを再構成

3. 技術・手法の肝は？

- camera-controlled video diffusion modelとfrozen 2D vision foundation modelsから相補的な知識をdistill - 統一モデルにより3D Gaussiansをjointlyに推論 - video latentsからfeed-forwardで処理 - geometry・appearanceに加えopen-vocabulary semanticsとclass-agnostic instance cuesをGaussiansにエンコード - latent formulationによりmonocular videoへ拡張し時間方向の構造化動的3D sceneを再構成

4. どうやって有効だと検証した？

- 厳選されたsyntheticおよびreal-image-conditioned benchmarksで評価 - state-of-the-art 3DGS segmentationと generative 3D scene reconstructionを組み合わせたbaselinesと比較 - 本手法がbaselinesを上回ることを示す - 再構成品質が保持されることを確認 - monocular videoへの拡張により動的3D scene再構成を実証

5. 議論はある？

- 再構成品質とsegmentation性能の両立を主張 - 手動3D annotationsやcaptured multi-view dataなしの学習可能性を議論 - 下流応用として3D scene editing、3D asset mining、robotic simulationを提示 - 具体的な限界や失敗ケース、計算コストの詳細は要旨からは不明

6. 次に読むべき論文は？

- camera-controlled video diffusion model（該当するvideo diffusion研究） - frozen 2D vision foundation models（open-vocabulary segmentation系の基盤モデル） - state-of-the-art 3DGS segmentation approaches - generative 3D scene reconstruction（単一画像からの3D生成手法） - 3D Gaussian Splatting（3DGS）関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Oliver Hahn, Rodrigo Marcuzzi, Sangeetha Grama Srinivasan, Alessandro Burzio, Sherwin Bahmani, Jiahui Huang, Stefan Roth, Shengyu Huang, Qunjie Zhou, Laura Leal-Taixé

分類: cs.CV

原文アブストラクト

We present LucidLyra, a framework that makes generatively reconstructed 3D scenes directly queryable for semantics and instances in a feed-forward manner from video latents. While generative 3D reconstruction can synthesize virtual environments from a single image, downstream applications in robotics and physical AI require not only visual realism but also access to scene semantics and object identities. Existing 3D understanding approaches, however, require captured multi-view scenes, have limited generalization capabilities, or rely on expensive per-scene processing and optimization. To bridge this gap, our method distills complementary knowledge from a camera-controlled video diffusion model and frozen 2D vision foundation models into a unified model to jointly infer 3D Gaussians encoding geometry, appearance, open-vocabulary semantics, and class-agnostic instance cues. The resulting scenes support novel-view rendering, open-vocabulary segmentation, and object grouping without per-scene optimization, while training requires neither manual 3D annotations nor captured multi-view data. Our method outperforms baselines combining state-of-the-art 3DGS segmentation approaches with generative 3D scene reconstruction on curated synthetic and real-image-conditioned benchmarks, while preserving reconstruction quality. Furthermore, our latent formulation naturally extends to monocular video, reconstructing structured dynamic 3D scenes across time. By turning renderable but unstructured outputs into queryable 3D worlds, LucidLyra enables downstream applications including 3D scene editing, 3D asset mining, and robotic simulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI