位置認識2026/9/8arXiv:2609.09005

DXPR: 視覚基盤モデルを用いた深度ベースの視覚-LiDARクロスモーダル位置認識

DXPR: Depth-Based Vision-LiDAR Cross-Modal Place Recognition Using Vision Foundation Models

カメラ画像とLiDARスキャンを統一的な深度画像に変換し、視覚基盤モデルを用いてモダリティ非依存のグローバル記述子を学習することで、事前構築されたLiDARマップ内でのカメラのみによるロバストな位置認識を実現する。

詳しい要約

1. どんなもの？

DXPRは、深度ベースのクロスモーダルプレイス認識（CMPR）フレームワークであり、Vision Foundation Models (VFMs)を用いて、単眼カメラのクエリをLiDARマップにマッチングする。モダリティ固有のエンコーダを必要とせず、カメラ画像とLiDARスキャンを統一的な深度画像表現に変換し、単一のVFMバックボーンと集約ヘッドでモダリティ不変のグローバルディスクリプタを学習する。これにより、季節・天候・照明の変化が激しい環境でも、ロボットや自動運転車がLiDARマップ内でカメラのみを用いてロバストに自己位置推定できる。

2. 先行研究と比べてどこがすごい？

先行研究のCMPR手法は、多くの場合、モダリティ固有のエンコーダや複雑なネットワークを必要とし、季節や天候の変化に対して脆弱であった。DXPRは、VFMsを活用し、深度画像表現に統一することで、モダリティ固有のエンコーダを不要にし、単一のバックボーンで学習できる点が新しい。また、ジオメトリを考慮したオーバーラップマイナーを導入し、ペアのラベルを再調整することで、弱いオーバーラップを持つペアへの過適合を防ぎ、学習をシーン幾何に忠実にしている。これにより、KITTIやBoreasデータセットで、先行のCMPRベースラインを上回る性能を達成している。

3. 技術・手法の肝は？

手法の肝は、カメラ画像とLiDARスキャンを深度画像表現に変換し、単一のVFMバックボーン（例：DINOv2）と集約ヘッドでグローバルディスクリプタを学習すること。さらに、ジオメトリを考慮したオーバーラップマイナーを導入し、カメラとLiDARの深度をクロスモーダルにスケール合わせした後、ビュー間で測定値をフォワードワープしてピクセルレベルのオーバーラップスコアを計算する。このスコアを用いて、あいまいなペアのラベルを再調整し、マルチ類似度損失のポジティブマージンを適応的に変調することで、弱いオーバーラップのビューへの過適合を防ぐ。

4. どうやって有効だと検証した？

KITTIオドメトリとBoreasデータセットで広範な実験を行い、季節・天候・昼夜の変化に対する性能とロバスト性を評価した。KITTIでは、ほとんどのシーケンスでRecall@1がほぼ完全（near-perfect）であり、先行のCMPRベースラインを上回った。Boreasでは、イントラシーケンス性能が強力なシングルモーダルベースライン（DINOv2-SALAD）と同等であり、より困難なインターシーケンス設定では明確な改善を示した。また、RangeBEVと比較して、イントラおよびインターシーケンス評価の両方で一貫して優れた性能を示し、多様な季節・照明変化に対するロバスト性を実証した。

5. 議論はある？

要旨からは、議論の余地や限界についての詳細は不明。ただし、提案手法は深度画像表現に依存するため、深度推定の精度が性能に影響する可能性が考えられる。また、VFMsの計算コストや、異なるセンサー構成への一般化については言及されていない。さらに、Boreasのインターシーケンス設定での改善は示されているが、他のデータセットや実世界の多様な環境での検証が今後の課題となる可能性がある。

6. 次に読むべき論文は？

要旨で参照されている研究は、DINOv2-SALAD（シングルモーダルベースライン）とRangeBEV（CMPRベースライン）である。次に読むべき論文としては、これらの手法の詳細を説明した論文が挙げられる。また、Vision Foundation Models（VFMs）の一般的な手法（例：DINOv2）や、クロスモーダルプレイス認識の関連研究（例：CMPRのサーベイ）も有用である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yungsoo Han, Youngseok Jang, Seungwon Roh, Jeongyeon Seo, H. Jin Kim

分類: cs.CV

原文アブストラクト

We present DXPR, a depth-based cross-modal place recognition (CMPR) framework that uses vision foundation models (VFMs) to match monocular camera queries against a LiDAR map without modality-specific encoders. This enables robots and autonomous vehicles to robustly localize using only cameras within pre-built LiDAR maps, even under severe seasonal, weather, and illumination changes. The key idea is to convert both camera images and LiDAR scans into a unified depth image representation so that a single VFM backbone with an aggregation head can learn modality-invariant global descriptors. To make pairwise metric learning faithful to scene geometry, we introduce a geometry-aware overlap miner: after cross-modal scale alignment of camera and LiDAR depth, we forward-warp measurements between views to compute a pixel-level overlap score. This score relabels ambiguous pairs and adaptively modulates the positive margin in a multi-similarity loss to avoid overfitting on weakly overlapping views. Extensive experiments on KITTI odometry and Boreas demonstrate strong performance and robustness across seasons, weather, and day/night. On KITTI, DXPR achieves near-perfect Recall@1 on most sequences and outperforms prior CMPR baselines. On Boreas, DXPR achieves intra-sequence performance on par with a strong single-modal baseline (DINOv2-SALAD), while showing clear improvements in the more challenging inter-sequence setting. Compared with RangeBEV, our method consistently performs better in both intra- and inter-sequence evaluations, demonstrating robustness under diverse seasonal and illumination changes.

arXivで原文を読む →arXiv概要ページ