深度推定2026/9/10arXiv:2609.11079

RIDE: 再局在化情報を活用した3Dガウシアンスプラッティングによる深度推定

RIDE: Relocalization-Informed Depth Estimation with 3D Gaussian Splatting

ロボットのRGB映像から、3Dガウシアンスプラッティングと再局在化の幾何情報を組み合わせて高精度な密なメートル深度を推定する手法を提案。

詳しい要約

1. どんなもの？

- ロボットのRGBストリームからdense metric depthを推定するRIDEを提案。 - metrically scaled 3D Gaussian Splatting (3DGS) モデルを前提とする。 - Render–match–PnP relocalizationの対応関係を深度推定に活用。 - PnP-RANSAC inlier対応から得るsparse metric depthと、pretrained video-depth modelのgeometric priorを統合。 - 短い観測ギャップにも対応する。

2. 先行研究と比べてどこがすごい？

- 従来のrender–match–PnP relocalizationはカメラpose recoveryが主目的で、dense depth推定への活用は見落とされがちだった。 - 既存のscale-only calibrationと比較し、depth accuracyとtemporal consistencyが向上。 - relocalizationの幾何情報をpose recoveryとdense robot perceptionの両方に使えることを示す。

3. 技術・手法の肝は？

- metrically scaled 3DGSモデルを利用。 - PnP-RANSAC inlier correspondencesからsparse metric depth observationsを導出。 - pretrained video-depth modelのgeometric priorと組み合わせる。 - uneven/intermittentな観測に対処するため、global and local depth correctionとtemporal memoryを統合。 - metric scale initialization後、短い観測ギャップを越えてdepth estimationを支援。

4. どうやって有効だと検証した？

- 公開RGB-D videosで学習。 - fine tuningなしでrobot sequences上で評価。 - scale-only calibrationと比較し、depth accuracyとtemporal consistencyの改善を実験で示す。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗ケース、計算コスト、3DGSモデル依存性などは記述されていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されているscale-only calibration。 - 関連手法として3D Gaussian Splatting (3DGS)、PnP-RANSAC、pretrained video-depth model。 - 同分野の定番としてvisual relocalization、dense depth estimation、RGB-D SLAM。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiarong Lian, Zhe Xiao, Zhaoyang Zhang, Wei Li, Ruizhi Chen

分類: cs.RO

原文アブストラクト

Render--match--PnP relocalization establishes correspondences between query image pixels and 3D map points for camera pose recovery, but their potential to support dense depth estimation is often overlooked. To exploit this geometric information, we present RIDE, which estimates dense metric depth from a robot's RGB stream. Given a metrically scaled 3D Gaussian Splatting (3DGS) model, RIDE combines sparse metric depth observations derived from PnP-RANSAC inlier correspondences with the geometric prior of a pretrained video-depth model. To handle uneven and intermittent observations, it integrates global and local depth correction with temporal memory, supporting depth estimation through short observation gaps after metric scale initialization. Trained on public RGB-D videos, RIDE is evaluated on robot sequences without fine tuning. Experiments show improved depth accuracy and temporal consistency over scale-only calibration, demonstrating how localization geometry can support both pose recovery and dense robot perception.

arXivで原文を読む →arXiv概要ページ