日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
3DシーングラフarXiv:2610.27696

パノラマ3Dシーングラフとパノプティックセグメンテーションをガウシアンスプラッティングで統合するPanoGraphGS

PanoGraphGS: Unifying Panoptic Segmentation and Hierarchical 3D Scene Graphs with Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウシアン表現に意味・インスタンス特徴を学習させ、パノプティック予測と階層的3Dシーングラフ構築を統合したフレームワークを提案し、実世界データセットNaviGSも公開した。

詳しい要約

1. どんなもの？

- 3D scene graph 構築と panoptic segmentation を統合した枠組み PanoGraphGS を提案 - panoptic 3D Gaussian representation learning と階層的 3D scene graph 構築を統合 - 共有 Gaussian geometry 上で semantic 特徴と instance 特徴を学習 - floor-room-stuff-object の階層と containment・spatial relations を復元 - 実世界データセット NaviGS を公開(3DGS, mesh, RGB, semantic, depth)

2. 先行研究と比べてどこがすごい？

- 3D scene graph 同定で Replica と NaviGS の object-node accuracy が最強 baseline を平均 50% ポイント以上上回る - 評価した手法の中で 2D panoptic segmentation でも state-of-the-art - 単一の Gaussian 表現で panoptic 予測と scene graph 構築を一貫して扱う点が特徴 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は？

- 共有 Gaussian geometry 上で semantic・instance 特徴を学習 - prototype-based semantic learning を採用 - association-based instance learning を採用 - 視点間で一貫した panoptic 予測を実現 - novel-view panoptic segmentation と Gaussian-level panoptic decoding を直接支援 - semantic-aware scene graph module で階層と関係を復元

4. どうやって有効だと検証した？

- Replica と NaviGS で 3D scene graph 同定を評価し object-node accuracy で比較 - 2D panoptic segmentation を評価し state-of-the-art と報告 - NaviGS は 3DGS, mesh, RGB, semantic, depth を提供する実世界データセット - 定量結果の詳細な実験設定は要旨からは不明

5. 議論はある？

- 階層的 3D scene understanding と 2D panoptic segmentation の両方で有効性を示す - 限界・失敗事例・計算コスト・汎化性に関する議論は要旨からは不明 - NaviGS の規模や収録環境の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている具体的な先行研究は不明 - 関連手法として 3D Gaussian Splatting, panoptic segmentation, 3D scene graph 構築の代表的研究を挙げる - 公開データセット NaviGS と Replica を用いた比較研究が候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinghan Gao, Siyu Wang, Dongyu Feng, Yiyuan Pan, Rong Xiong

分類: cs.CV, cs.RO

原文アブストラクト

3D scene graphs support language-guided navigation by organizing physical entities and their containment and spatial relations into hierarchical maps. Building such structured maps requires a scene representation that consistently distinguishes semantic regions and object instances across viewpoints. To this end, we present PanoGraphGS, a unified framework that integrates panoptic 3D Gaussian representation learning with hierarchical 3D scene graph construction. The framework learns semantic and instance features on shared Gaussian geometry. Prototype-based semantic learning and association-based instance learning produce consistent panoptic predictions across viewpoints. The learned representation supports novel-view panoptic segmentation and direct Gaussian-level panoptic decoding. A semantic-aware scene graph module further recovers a floor-room-stuff-object hierarchy with containment and spatial relations. We further release NaviGS, a real-world dataset for panoramic scene understanding. The dataset provides 3DGS, mesh, RGB, semantic, and depth data. For 3D scene graph identification, PanoGraphGS outperforms the strongest evaluated baseline in object-node accuracy by more than 50\% points on average across Replica and NaviGS. PanoGraphGS also achieves state-of-the-art performance among the evaluated methods in 2D panoptic segmentation. These results demonstrate the effectiveness of PanoGraphGS in both hierarchical 3D scene understanding and 2D panoptic segmentation. The project website is available at: https://github.com/gaojh0333/PanoGraphGS.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI