セマンティック占有予測2026/9/15arXiv:2609.17257

屋内セマンティック占有予測における2Dバックボーンの影響調査

Exploring 2D backbone effects for indoor semantic occupancy prediction

屋内セマンティック占有予測において、2D画像バックボーンをCLIP-ResNet、CLIP-ViT、BLIP2、DINOv2に置き換え、DINOv2が最も高いmIoUを示すことを明らかにした。

詳しい要約

1. どんなもの？

- 屋内のsemantic occupancy predictionにおいて、2D image backboneの選択が最終的な3D予測精度に与える影響を調べた研究。 - EmbodiedScanのようなRGB-Dパイプラインを対象とし、image encoderをデフォルトのまま使う設計慣行を直接検証。 - 主要な発見は、2D backboneの変更が、いくつかの注意深く設計されたoccupancy architectureやmoduleの変更よりもoccupancy accuracyを改善するという点。

2. 先行研究と比べてどこがすごい？

- 従来はimage encoderがデフォルトモジュールとして扱われ、occupancy architectureやmoduleの設計に注目が集まりがちだった。 - 本研究は、RGB-D projection、depth branch、occupancy headを固定し、image backboneのみを置換する制御実験を行った点が新しい。 - その結果、backbone変更が下流の3D fusion pipelineを変更せずに元のEmbodiedScan ResNet-50 baselineを上回ることを示した。

3. 技術・手法の肝は？

- 主要なRGB-D projection、depth branch、occupancy headを固定し、image backboneのみをCLIP-ResNet、CLIP-ViT、BLIP2、DINOv2に置き換える。 - 制御された設定でmIoUを比較し、backboneの違いが3D voxel liftingに与える影響を評価。 - CLIP-ViTとCLIP-ResNetの比較から、CLIP特徴をdense tokensとしてどう露出させるかがvoxel liftingに重要だと示唆。

4. どうやって有効だと検証した？

- 制御設定下でmIoUを測定：DINOv2 30.55%、BLIP2 29.49%、CLIP-ViT 24.33%、CLIP-ResNet 17.41%。 - 強いencoderは下流の3D fusion pipelineを変更せずに元のEmbodiedScan ResNet-50 baselineを上回った。 - class-level結果も提示し、DINOv2は多くのlayout/structuralカテゴリで強く、BLIP2はいくつかのobject-centeredクラスで近い性能を示した。

5. 議論はある？

- 結果は、image backboneがembodied semantic occupancyにおいて二次的なengineering detailではなく、最終3D予測の主要な変動源であることを示す。 - CLIP-ViTがCLIP-ResNetより明確に改善したことは、CLIP特徴のdense tokensとしての露出方法がvoxel liftingに影響することを示唆。 - ただし、要旨からは具体的な議論や限界については不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：EmbodiedScan、CLIP-ResNet、CLIP-ViT、BLIP2、DINOv2。 - 関連手法として、semantic occupancy predictionやRGB-D pipelinesの研究が挙げられる。 - 同分野の定番として、3D semantic scene completionやvoxel-based occupancy predictionの研究も次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shizhang Fanga, Wanling Yea, Qi Zheng

分類: cs.CV

原文アブストラクト

Semantic occupancy prediction gives an embodied agent a voxel-level account of where space is free, occupied, and semantically meaningful. In RGB-D pipelines such as EmbodiedScan, the image encoder is often left as a default module, even though its features are the visual evidence later sampled into the 3D grid. We study this design choice directly. A central finding is that changing the 2D backbone improves occupancy accuracy more than several carefully designed occupancy architectures or modules. We keep the main RGB-D projection, depth branch, and occupancy head fixed, and replace only the image backbone. The compared encoders are CLIP-ResNet, CLIP-ViT, BLIP2, and DINOv2. Under the controlled setting, the measured mIoU changes substantially: DINOv2 obtains 30.55\%, BLIP2 obtains 29.49\%, CLIP-ViT obtains 24.33\%, and CLIP-ResNet obtains 17.41\%. The stronger encoders also exceed the original EmbodiedScan ResNet-50 baseline without modifying the downstream 3D fusion pipeline. Class-level results give a more detailed picture: DINOv2 is stronger on many layout and structural categories, whereas BLIP2 remains close on several object-centered classes. CLIP-ViT improves clearly over CLIP-ResNet, showing that the way CLIP features are exposed as dense tokens matters for voxel lifting. These results indicate that the image backbone is not a secondary engineering detail in embodied semantic occupancy, but a major source of variation in the final 3D prediction.

arXivで原文を読む →arXiv概要ページ