3Dシーン補完2026/8/9arXiv:2608.08476

RayLift: 3D幾何学事前知識を用いた相補的なレイ単位証拠のリフティングによるセマンティックシーン補完

RayLift: Lifting Complementary Ray-Wise Evidence with 3D Geometry Priors for Semantic Scene Completion

カメラベースの3Dセマンティックシーン補完において、ステレオ深度の不確実性を考慮し、レイ単位の証拠を適応的にサンプリング・重み付けすることで、高精度な3D構造復元を実現するフレームワークを提案した。

詳しい要約

1. どんなもの？

RayLiftは、カメラベースの3Dセマンティックシーン補完(SSC)のためのフレームワークである。ステレオ深度推定を決定論的な幾何学的制約として扱う既存手法の問題に対処し、深度の不確かさや局所的な対応誤差がボクセル表現に直接伝播するのを防ぐ。ステレオ幾何をメトリック参照として使用しつつ、相補的なレイエビデンスを組み込んで信頼できる3D構造を適応的に復元する。

2. 先行研究と比べてどこがすごい？

既存のSSC手法はステレオ深度を決定論的な制約として扱い、深度の不確かさや対応誤差がボクセル表現に伝播する問題があった。RayLiftは、ステレオ幾何をメトリック参照として使用しながら、相補的なレイエビデンスを適応的に統合することで、この問題を軽減する点が新しい。また、凍結された3Dビジョン基盤モデルから幾何学認識の事前知識を抽出するComplementary Context Encoderを導入している点も独自性がある。

3. 技術・手法の肝は？

RayLiftは3つの主要モジュールで構成される。1) Complementary Context Encoder: 凍結された3Dビジョン基盤モデルから幾何学認識の事前知識を抽出し、シーンコンテキストを豊かにする。2) Depth Ray Evidence Lifter: 幾何学的非類似度、深度信頼度、空間的不確かさを共同でモデル化し、各カメラレイに沿って候補サーフェス位置を適応的にサンプリングおよび重み付けする。3) Semantic-Aware Voxel Integrator: レイエビデンスをボクセル特徴に注入し、空間的サポートを明示的にモデル化する。

4. どうやって有効だと検証した？

SemanticKITTIとSSCBench-KITTI-360データセットで広範な実験を行い、RayLiftが競争力のあるパフォーマンスを達成し、既存手法を一貫して上回ることを示した。

5. 議論はある？

要旨からは、RayLiftの限界や特定の失敗ケースについての議論は不明である。また、計算コストやリアルタイム性能に関する言及もない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、カメラベースのSSC手法（例: MonoScene, VoxFormer）や、3Dビジョン基盤モデル（例: PointNet++, VoxelNet）が挙げられる。また、ステレオ深度推定手法（例: PSMNet, GA-Net）も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Meng Wang, Hongxia Yu, Wenzhe He, Xingdong Song, Huilong Pi, Jiapeng Zhang, Ruihui Li

分類: cs.CV

原文アブストラクト

Camera-based 3D semantic scene completion (SSC) provides comprehensive scene understanding for autonomous driving and robotics. However, existing methods often treat stereo depth estimates as deterministic geometric constraints, causing depth uncertainty and local correspondence errors to propagate directly into voxel representations. To address this issue, we propose RayLift, a framework that uses stereo geometry as a metric reference while incorporating complementary ray evidence to recover reliable 3D structures adaptively. RayLift first employs a Complementary Context Encoder that extracts geometry-aware priors from a frozen 3D vision foundation model, thereby enriching the scene context. It then introduces a Depth Ray Evidence Lifter module that jointly models geometric dissimilarity, depth confidence, and spatial uncertainty to adaptively sample and weight candidate surface locations along each camera ray. Finally, a Semantic-Aware Voxel Integrator injects the resulting ray evidence into voxel features by explicitly modeling their spatial support. Extensive experiments on SemanticKITTI and SSCBench-KITTI-360 demonstrate that RayLift achieves competitive performance and consistently outperforms existing methods.

arXivで原文を読む →arXiv概要ページ

← 論文一覧