点群レジストレーション2026/8/20arXiv:2608.19536v1

CVSD-Reg: 視覚的意味的先行知識の蒸留による頑健なLiDARレジストレーション

CVSD-Reg: Cross-Modal Visual Semantic Prior Distillation for Robust LiDAR Registration

視覚基盤モデルからLiDAR表現に意味的先行知識を蒸留し、センサー非依存で頑健なグローバル点群位置合わせを実現するフレームワークを提案。

詳しい要約

1. どんなもの？

CVSD-Regは、LiDARのグローバルな点群レジストレーションのためのフレームワークで、視覚基盤モデル（DINOv2）から抽出した視覚的セマンティック事前知識をLiDAR表現に蒸留する。Stage 1では、Point Transformer V3を学生モデルとして、凍結したDINOv2教師からコントラスティブ蒸留と球面多様体アライメントにより学習し、ハイパースフィア幾何を保持する。自己教師ありのInfoNCE一貫性とソフトなSE(3)不変性により、視点に頑健な記述子を獲得する。Stage 2では、蒸留した表現を対応学習、密度認識型ポイントドロップアウト拡張、エンドツーエンドのポーズ最適化によりレジストレーションに適応させる。単一のチェックポイントで、センサー固有の適応なしにシングルセンサーとゼロショットのクロスセンサーシナリオの両方に汎化し、推論時はカメラを一切使用しない。

2. 先行研究と比べてどこがすごい？

既存の学習ベースのグローバル点群レジストレーション手法は幾何表現に依存しており、点密度、スキャンパターン、視点、センサー特性の変動に敏感である。CVSD-Regは、視覚基盤モデルからセマンティック事前知識を蒸留することで、これらの変動に対する頑健性を向上させている。特に、カメラ入力を必要とせず、後処理のICPリファインメントなしで、最先端の幾何学的手法を最大44.0パーセントポイント上回る性能を達成している。

3. 技術・手法の肝は？

手法の肝は、視覚基盤モデル（DINOv2）からLiDAR表現へのセマンティック事前知識の蒸留にある。具体的には、Point Transformer V3を学生とし、凍結したDINOv2教師からコントラスティブ蒸留と球面多様体アライメントを用いて学習する。これにより、教師の埋め込み空間のハイパースフィア幾何を維持する。さらに、自己教師ありのInfoNCE一貫性とソフトなSE(3)不変性を導入し、視点に頑健な記述子を獲得する。Stage 2では、対応学習、密度認識型ポイントドロップアウト拡張、エンドツーエンドのポーズ最適化により、蒸留した表現をレジストレーションタスクに適応させる。

4. どうやって有効だと検証した？

KITTI、nuScenes、HeLiPRの3つのデータセットで評価し、厳格な成功率（SR@0.5m/1°）をそれぞれ97.7%、99.0%、99.3%達成した。特に、スパースな16ビームVelodyneスキャンでは97.3%を達成した。また、最先端の幾何学的レジストレーション手法と比較し、最大44.0パーセントポイントの改善を示した。カメラ入力や後処理のICPリファインメントを必要としない点も検証されている。

5. 議論はある？

要旨からは、議論の詳細は不明である。ただし、提案手法はカメラフリーでありながら視覚的セマンティック事前知識を利用する点で、センサー融合の新たな可能性を示唆している。また、単一チェックポイントでクロスセンサーに汎化することは、実用上の利点があるが、異なるセンサー構成や環境での限界については要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている研究は、Point Transformer V3、DINOv2、InfoNCE損失、SE(3)不変性、ICPリファインメントなどである。次に読むべき論文としては、これらの基盤技術に関する論文が挙げられる。具体的には、Point Transformer V3の原著論文、DINOv2の原著論文、InfoNCE損失を導入した論文（例えば、Contrastive Predictive Coding）、SE(3)不変性を扱った論文、ICPアルゴリズムの古典的論文などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eunsoo Im, Junghun Suh, Gyeonggwan Lee, Seunghwan Hong

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Learning-based global point cloud registration has achieved remarkable progress, yet its reliance on geometric representations makes existing methods sensitive to variations in point density, scan pattern, viewpoint, and sensor characteristics. We propose CVSD-Reg, a robust global LiDAR registration framework that distills visual semantic priors from a vision foundation model into LiDAR representations. In Stage 1, a Point Transformer V3 student learns from a frozen DINOv2 teacher through contrastive distillation and spherical-manifold alignment, which preserves the hyperspherical geometry of the teacher embedding space. Self-supervised InfoNCE consistency and soft $\mathrm{SE}(3)$ invariance further encourage viewpoint-robust descriptors. In Stage 2, the distilled representation is adapted to registration through correspondence learning, density-aware point-dropout augmentation, and end-to-end pose optimization. With a single checkpoint, CVSD-Reg generalizes to both single-sensor and zero-shot cross-sensor scenarios without sensor-specific adaptation and remains entirely camera-free at inference. On KITTI, nuScenes, and HeLiPR, CVSD-Reg achieves strict success rate (SR@0.5\,m/$1^\circ$) of 97.7$\%$, 99.0$\%$, and 99.3$\%$, respectively, including 97.3$\%$ on sparse 16-beam Velodyne scans. It outperforms state-of-the-art geometric registration methods by up to 44.0 percentage points without requiring camera inputs or post-hoc ICP refinement.

arXivで原文を読む →arXiv概要ページ

← 論文一覧