世界モデル/3Dシーン理解2026/8/17arXiv:2608.16234

GaussianDWM++: 言語基盤の3Dガウス駆動世界モデルによる統一的なシーン理解・編集・マルチモーダル生成

GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation

シェア:X Threads Facebook LINE はてブ Bluesky

3Dガウス表現に視覚言語特徴を蒸留し、シーン理解・言語推論・4D編集・マルチモーダル生成を単一フレームワークで統合した駆動世界モデルを提案した。

詳しい要約

1. どんなもの？

本論文は、運転シーンの理解・言語接地推論・制御可能な4D編集・マルチモーダル生成を単一フレームワークで統合する、foundation-feature Gaussian driving world model（GaussianDWM++）を提案する。従来のDWMは条件付きシーン生成に焦点を当て、明示的な3Dシーン理解や言語接地が欠如していた。提案手法は、Qwen/SigLIPの視覚言語特徴を3D Gaussianプリミティブに直接蒸留するfoundation-feature Gaussian tokenizerを導入し、コンパクトなopen-vocabulary Gaussian semantic fieldを構築する。さらに、重要度に基づく階層的選択とテキスト条件付きPerceiver型クロスアテンションを組み合わせたgeometry-aware Gaussian adapterを設計し、密なGaussianプリミティブをコンパクトなworld tokenに集約する。KLベースのGaussian-image分布整合目的により、Gaussian world tokenとfoundatio…

2. 先行研究と比べてどこがすごい？

既存のDWMは主に条件付きシーン生成に焦点を当て、明示的な3Dシーン理解や言語接地推論が欠如している。また、点群・占有・BEV表現はテキスト情報と3Dシーン構造の細粒度な整合が困難である。提案手法は、3D Gaussian表現を基盤とし、視覚言語特徴を直接蒸留することで、言語接地と3Dシーン理解を統一フレームワークで実現する点が新しい。さらに、シーン理解・視覚接地・計画指向推論・制御可能な4D生成タスクでSOTAを達成しており、従来の個別タスク特化モデルを凌駕する。

3. 技術・手法の肝は？

手法の核は、(1) foundation-feature Gaussian tokenizer：Qwen/SigLIPの視覚言語特徴を3D Gaussianプリミティブに蒸留し、open-vocabulary Gaussian semantic fieldを構築。(2) geometry-aware Gaussian adapter：重要度に基づく階層的選択とテキスト条件付きPerceiver型クロスアテンションで密なGaussianをコンパクトなworld tokenに集約。(3) KL-based Gaussian-image分布整合：Gaussian world tokenとfoundation image tokenの分布をKLダイバージェンスで整合させ、表現互換性を向上。(4) 整合されたGaussian表現に基づき、指示制御可能なシーン編集（天候条件生成、動的車両操作）を実現。

4. どうやって有効だと検証した？

広範な運転ベンチマークで実験を行い、シーン理解、視覚接地、計画指向推論、制御可能な4D生成タスクにおいてSOTA性能を達成したと報告している。具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある？

要旨からは、提案手法の限界や議論点は明示されていない。ただし、open-vocabulary semantic fieldの構築やKL整合の有効性、計算コスト、実世界への適用性などが議論の対象となり得るが、要旨には記載がない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、Driving World Models (DWMs)、Qwen/SigLIPの視覚言語モデル、3D Gaussian Splatting、Perceiverアーキテクチャが挙げられる。次に読むべき論文としては、これらの基盤技術に関する論文が適切である。具体的には、3D Gaussian Splattingの原著論文や、Qwen/SigLIPのモデル論文、Perceiverの論文などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianchen Deng, Xuefeng Chen, Shuang Wu, Qu Chen, Jiajun Zhu, Bo Dai, Jianfei Yang, Hesheng Wang

分類: cs.CV

原文アブストラクト

Driving World Models (DWMs) have recently advanced rapidly with generative models, yet most existing methods mainly focus on conditional scene generation and lack explicit 3D scene understanding, language-grounded reasoning, and controllable 4D editing capabilities. Moreover, commonly used point cloud, occupancy, or BEV representations make it difficult to achieve fine-grained alignment between textual information and the underlying 3D scene structure. To address these limitations, we propose a foundation-feature Gaussian driving world model that unifies scene understanding, language-grounded reasoning, controllable 4D editing, and multi-modal generation within a single framework. Specifically, we introduce a foundation-feature Gaussian tokenizer that directly distills Qwen/SigLIP visual-language features into 3D Gaussian primitives, building a compact open-vocabulary Gaussian semantic field. We further design a geometry-aware Gaussian adapter that combines importance-aware hierarchical selection with text-conditioned Perceiver-style cross-attention to aggregate dense Gaussian primitives into compact world tokens. To improve representation compatibility, we introduce a KL-based Gaussian--image distribution alignment objective that aligns Gaussian world tokens with foundation image tokens. Based on the aligned Gaussian representation, our framework further supports instruction-controllable scene editing, including weather-conditioned generation and dynamic vehicle manipulation. Extensive experiments on broader driving benchmarks demonstrate that our method achieves state-of-the-art performance across scene understanding, visual grounding, planning-oriented reasoning, and controllable 4D generation tasks. We will release the code and datasets publicly on Github.

arXivで原文を読む →arXiv概要ページ

← 論文一覧