3Dシーン理解2026/8/11arXiv:2608.11150

CausalSplat: 3Dガウシアンスプラッティングにおける包括的階層的推論に向けて

CausalSplat: Towards Comprehensive Hierarchical Reasoning in 3D Gaussian Splatting

3Dガウシアンスプラッティングを用いたシーン理解において、暗黙的な意図や常識推論を扱う新しいタスクを提案し、ベンチマークとフレームワークCausalSplatを構築した。

詳しい要約

1. どんなもの？

3D Gaussian Splatting (3DGS) を用いたオープンボキャブラリシーン理解の既存手法は、明示的なクエリに限定され、暗黙の意図や複雑な空間制約、常識的推論を必要とする実用的な身体性インタラクションには対応できない。そこで、推論型3Dガウシアンセグメンテーションタスクを導入し、Causal-LERFとCausal-ScanNetの2つのベンチマークを構築した。さらに、視覚言語モデルと3Dシーングラフを統合し、明示的な構造知覚と暗黙的な論理推論を分離するフレームワークCausalSplatを提案する。

2. 先行研究と比べてどこがすごい？

既存の3DGSベースのオープンボキャブラリシーン理解手法は、明示的なクエリ（例：物体名）にのみ対応し、常識的推論、空間的制約、アフォーダンス、反事実的推論などの暗黙的な推論ができない。CausalSplatは、3Dシーングラフと視覚言語モデルを統合することで、これらの推論タスクを可能にし、標準的な参照セグメンテーションやオープンボキャブラリセグメンテーションでも強い汎化性を示す点が優れている。

3. 技術・手法の肝は？

CausalSplatは、視覚言語モデル（VLM）と3Dシーングラフを統合し、明示的な構造知覚（物体の位置や形状など）と暗黙的な論理推論（常識や因果関係など）を分離して扱う。具体的には、3DGSからシーングラフを構築し、VLMを用いて暗黙的なクエリを論理推論で解決する。これにより、複雑な空間制約や常識的推論を伴うクエリに対応する。

4. どうやって有効だと検証した？

Causal-LERFとCausal-ScanNetの2つのベンチマークを構築し、常識的推論、空間的推論、アフォーダンス推論、反事実的推論の4つのカテゴリで評価した。既存のSOTA手法と比較して、CausalSplatがこれらの推論タスクでSOTA性能を達成し、標準的な参照セグメンテーションとオープンボキャブラリ3Dセグメンテーションでも強い汎化性を示すことを実験で確認した。

5. 議論はある？

要旨からは、CausalSplatの限界や議論についての詳細は不明。ただし、推論タスクに特化したベンチマークを新たに導入しており、既存手法の性能が低いことを示している。また、VLMとシーングラフの統合による計算コストや、実環境でのロバスト性などが今後の課題となる可能性があるが、要旨には明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、3D Gaussian Splatting (3DGS) の基礎論文、オープンボキャブラリ3Dセグメンテーション手法（例：OpenScene, LERF）、3Dシーングラフ構築手法（例：3D Scene Graph）などが挙げられる。具体的な論文名は要旨にないため、同分野の定番である「3D Gaussian Splatting」や「OpenScene」などを次に読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiayu Ding, Meilu Song, Yun Chen, Wei Gao, Ge Li

分類: cs.CV

原文アブストラクト

While 3D Gaussian Splatting (3DGS) has advanced open vocabulary scene understanding, existing methods remain confined to explicit queries. They struggle to interpret implicit intents, complex spatial constraints, and commonsense reasoning required for practical embodied interactions. To address this gap, we introduce the task of reasoning 3D Gaussian segmentation and construct two benchmarks, Causal-LERF and Causal-ScanNet. These benchmarks systematically evaluate commonsense, spatial, affordance, and counterfactual reasoning. Evaluations reveal that current state of the art methods perform poorly on these reasoning challenges. Therefore, we propose CausalSplat, a framework that integrates vision-language models with 3D scene graphs to disentangle explicit structural perception from implicit logical inference. Extensive experiments demonstrate that CausalSplat achieves state of the art performance on our reasoning benchmarks while showing strong generalizability on standard referring and open vocabulary 3D segmentation tasks. Project Page: https://jiayuding031020.github.io/CausalSplat

arXivで原文を読む →arXiv概要ページ