日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
3D再構成arXiv:2611.05361

植生環境における視覚的3D再構成のベンチマーク向け可視性考慮型参照生成

Visibility-Aware Reference Generation for Benchmarking Visual 3D Reconstruction in Vegetation-Rich Environments

シェア:XThreadsFacebookLINEはてブBluesky

LiDARスキャンから可視性を考慮した参照深度・点群を生成するパイプラインを提案し、植生の多い屋外環境で視覚的3D再構成手法を評価した。

詳しい要約

1. どんなもの？

- 植生の多い屋外環境における visual 3D reconstruction と depth estimation を評価するための benchmark 基盤 - LiDAR ベースの reference-generation pipeline を提案 - 既存の multi-sensor localization dataset の camera images・LiDAR scans・reference poses を再利用 - 各 view の depth map と visible reference point cloud を生成 - feed-forward visual-geometry models の zero-shot 性能と conventional SfM 手法の比較評価を目的とする

2. 先行研究と比べてどこがすごい？

- 植生環境では geometric ground-truth data が乏しく、完全な scanner survey は高コストという制約があった - 既存の multi-sensor localization dataset を流用し、追加 survey なしで reference を生成できる点が新しい - 蓄積 LiDAR scans の visibility error に対処する LargeDepth-Gap Visibility Score (LDGVS) を導入 - Poisson surface reconstruction と比較し、HPR と LDGVS の組合せで同程度の absolute relative error のまま約3倍の point density を保持

3. 技術・手法の肝は？

- 既存 dataset の camera images・LiDAR scans・reference poses から per-view depth maps と visible reference point clouds を生成 - 蓄積 LiDAR scans の visibility error に対処するため LDGVS を提案 - LDGVS を point-wise visibility filtering に使用 - Hidden Point Removal (HPR) における automatic scale selection にも LDGVS を利用 - 生成した reference を用いて feed-forward models と conventional SfM を比較評価

4. どうやって有効だと検証した？

- TartanAirV2 と TartanGround で実験 - Poisson surface reconstruction と比較し、HPR+LDGVS filtering が同程度の absolute relative error で約3倍の point density を保持することを確認 - BotanicGarden dataset に pipeline を適用し、depth estimation と 3D reconstruction 手法を体系的に比較 - feed-forward 手法は高効率で dense な depth 予測を出すが 3D reconstruction に duplicated structures が生じ得ることを確認 - conventional SfM はより coherent な geometry を出すが sparse で植生の難しい scene では失敗しやすいことを確認

5. 議論はある？

- feed-forward 手法の効率性と dense 予測の利点、一方で duplicated structures という再構成上の課題が示唆される - conventional SfM の coherent だが sparse で失敗しやすい性質が議論される - 植生環境での評価における visibility filtering の重要性が示唆される - 具体的な限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は？

- Poisson surface reconstruction - Hidden Point Removal (HPR) - conventional structure-from-motion (SfM) - feed-forward visual-geometry models - TartanAirV2 - TartanGround - BotanicGarden

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhipeng Zhong, Matthew Coombes, Cunjia Liu

分類: cs.CV, cs.RO

原文アブストラクト

Reliable evaluation of visual 3D reconstruction and depth estimation in vegetation-rich outdoor environments is limited by the scarcity of geometric ground-truth data and the cost of complete scanner surveys. We present a LiDARbased reference-generation pipeline for evaluating the zero-shot performance of feed-forward visual-geometry models alongside conventional structure-from-motion (SfM) methods. The pipeline reuses camera images, LiDAR scans, and reference poses from existing multi-sensor localization datasets to generate per-view depth maps and visible reference point clouds. To address visibility errors in accumulated LiDAR scans, we introduce the LargeDepth-Gap Visibility Score (LDGVS) for point-wise visibility filtering and automatic scale selection in Hidden Point Removal(HPR). Experiments on TartanAirV2 and TartanGround show that, compared with Poisson surface reconstruction, which is an approach suited to completed scan surveys, the combined HPR and LDGVS filtering retains approximately three times the point density at comparable absolute relative error. We also apply the pipeline to the BotanicGarden dataset to systematically compare depth estimation and 3D reconstruction methods. Feedforward methods produce dense depth predictions efficiently, but their 3D reconstructions can contain duplicated structures. Conventional SfM generally produces more coherent geometry, but its reconstructions remain sparse and more prone to failure in challenging vegetated scenes. The benchmark toolkit and datasets will be released.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI