3Dシーン理解2026/8/21arXiv:2608.21136

Stream3Dv2: 幾何学的・意味的融合によるストリーミングゼロショット3Dシーン理解の強化

Stream3Dv2: Geometric-Semantic Fusion Enhanced Streaming Zero-Shot 3D Scene Understanding

本論文は、ストリーミングRGB-D入力とノイズのある2Dセグメンテーションマスクを扱うためのトレーニング不要の3Dシーン理解フレームワークを提案し、幾何学的・意味的融合と多様体距離に基づく点群精緻化により性能を向上させる。

詳しい要約

1. どんなもの？

Stream3Dv2は、ストリーミングRGB-D入力に対するオープンボキャブラリのゼロショット3Dシーン理解を実現する、トレーニング不要の新しいフレームワークである。逐次データを処理する独自のネスト型ローカル・トゥ・ヒストリカルアーキテクチャを採用し、マルチビュー一貫性を捉えつつ計算オーバーヘッドを回避する。さらに、幾何学的ノイズと意味的曖昧性を解決する包括的な幾何学-意味融合メカニズムと、マニフォールド距離に基づく点群リファインメント戦略を導入する。

2. 先行研究と比べてどこがすごい？

既存のオープンボキャブラリゼロショット3Dシーン理解手法は、データ集約的な教師あり手法に代わる有望な選択肢であるが、ストリーミングRGB-D入力を効率的に処理できず、ノイズの多い2Dセグメンテーションマスクに対して脆弱である。Stream3Dv2は、これらの限界を克服するために、ストリーミング処理を可能にするアーキテクチャと、幾何学的ノイズと意味的曖昧性を明示的に扱う融合メカニズムを導入した点が優れている。

3. 技術・手法の肝は？

手法の核心は、(1) ネスト型ローカル・トゥ・ヒストリカルアーキテクチャによるストリーミング処理、(2) 意味的ガイダンスを利用し、3Dセグメンテーションを点とセットのマージ・分割問題として定式化する幾何学-意味融合メカニズム、(3) 局所マニフォールドグラフを用いた点対マニフォールド最適化と、幾何学的バウンディングボックスによる動的な履歴インスタンスの活性化・更新を組み合わせたマニフォールド距離ベースの点群リファインメント戦略である。

4. どうやって有効だと検証した？

公開データセットを用いた広範な実験により、既存のベースラインと比較して、基礎的なオープンボキャブラリのストリーミング3Dセグメンテーションと検出において一貫して優れた性能を達成することを検証した。さらに、LLMベースのエージェントと統合することで、言語駆動の高度な3Dシーン理解が可能になることを示した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。ただし、トレーニング不要のフレームワークであるため、特定のデータセットに特化した学習は行わないが、その分、ドメイン適応やカスタマイズの余地が限られる可能性がある。また、ストリーミング処理のリアルタイム性や計算効率の詳細な評価は要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、open-vocabulary zero-shot 3D scene understanding、vision foundation models、streaming RGB-D processing、geometric-semantic fusion、manifold distance-based point cloud refinement、LLM-based agent for 3D scene understandingなどが挙げられる。具体的な論文名は不明であるが、これらの分野の代表的な研究を参照することが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jie Xu, Na Zhao

分類: cs.CV

原文アブストラクト

Recently, open-vocabulary zero-shot 3D scene understanding using vision foundation models has emerged as a promising alternative to data-intensive supervised methods. However, deploying these models in real-world scenarios is severely hindered by their inability to efficiently handle streaming RGB-D inputs and their inherent vulnerability to noise 2D segmentation masks. To address these critical limitations, we propose Stream3Dv2, a novel training-free framework designed for robust streaming 3D perception. Stream3Dv2 processes sequential data through an original nested local-to-historical architecture, capturing multi-view consistency while circumventing the high computational overhead so as to support timely responses. At its core, we introduce a comprehensive geometric-semantic fusion mechanism that resolves geometric noise and semantic ambiguity by explicitly utilizing semantic guidance and formulating 3D segmentation as solving point-and-set merging and partitioning problems. Furthermore, we present an innovative manifold-distance-based point cloud refinement strategy. This approach leverages local manifold graphs for point-to-manifold optimization that mitigates the boundary delineation failures caused by Euclidean-distance metrics, and employs geometric bounding boxes to dynamically activate and update historical instances for achieving rapid manifold-to-manifold refinement. Extensive experiments on public datasets demonstrate that Stream3Dv2 consistently outperforms existing baselines in foundational open-vocabulary streaming 3D segmentation and detection. Finally, we show that integrating our framework with an LLM-based agent enables advanced language-driven 3D scene understanding, underscoring its potential for open-world embodied intelligence. Code will be updated at https://github.com/SubmissionsIn/Stream3D.

arXivで原文を読む →arXiv概要ページ