深度推定2026/8/5arXiv:2608.04737

スパース直接ToFセンサからの高密度メトリック深度補完

Dense Metric Depth Completion from Sparse Direct Time-of-Flight Sensors

直接ToFセンサのスパースでノイズの多い深度測定から、RGB画像を活用して高密度で正確なメトリック深度を推定するフレームワークを提案。多様なセンサタイプやスパース度に対応し、シミュレーションパイプラインで訓練データ不足を解決。

詳しい要約

1. どんなもの？

Direct Time-of-Flight (dToF)センサから得られる極めて疎で低解像度・ノイズの多い深度計測を、RGB画像と組み合わせて高密度なメートル深度マップに補完するフレームワークを提案。多様なセンサタイプ・疎密度・ノイズ条件に対応し、VR/XRやロボティクス等の用途に適した実用的な解を目指す。

2. 先行研究と比べてどこがすごい？

既存のmonocular depth estimationやdepth completion手法はdToF特有のサンプリングパターンやハードウェアアーティファクトを扱えず、深刻な疎密度やノイズ下で性能が劣化する。提案手法はdToFの特性を模擬したシミュレーションパイプラインで合成データのみで学習し、実センサを含む複数データセットへのzero-shot汎化を達成。また、diffusionや重い後処理を不要とし、精度と計算効率の両立でSOTAを上回る。

3. 技術・手法の肝は？

depth-guided dual-branch Vision Transformer encoderを採用し、RGB画像と疎なdToF計測を別々に処理。masked joint attention moduleにより、深度トークンが画像特徴を上書きされずに画像特徴をガイドする。軽量デコーダで高密度深度を効率的に再構成。さらに、flash、sub-VGA flash、rotatingセンサの特性（ハードウェア起因の劣化、不規則な疎密度、現実的なノイズ分布）を再現する包括的なdToFシミュレーションパイプラインを導入。

4. どうやって有効だと検証した？

合成データのみで学習し、6つのデータセットと3つの実dToFデバイスに対してzero-shot汎化を評価。既存のstate-of-the-art手法と比較し、精度と計算効率の両面で優位性を示した。

5. 議論はある？

要旨からは、合成データと実データのドメインギャップや、極端な疎密度・ノイズ条件下での限界、計算効率と精度のトレードオフに関する詳細な議論は不明。また、シミュレーションの忠実度や実センサへの適用範囲についての考察も要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されている既存のmonocular depth estimation手法やdepth completion手法（具体的な名称は不明）が関連。また、dToFセンサの特性を扱う研究や、Vision Transformerを用いた深度推定・補完の分野の定番論文（例：DPT, Depth Completion with Transformers）が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hakyeong Kim, Ruicheng Wang, Chengtang Yao, Jiaolong Yang, Min H. Kim

分類: cs.CV, cs.GR

原文アブストラクト

Direct Time-of-Flight (dToF) sensors provide highly accurate metric depth and are more robust than indirect ToF systems in challenging real-world conditions. However, their high manufacturing cost and limited photodiode array size produce depth maps that are extremely sparse, low-resolution, and noisy, making them unsuitable for VR/XR, robotics, and 3D perception tasks that require dense metric depth. Existing monocular and depth completion methods struggle to handle the unique sampling patterns and hardware artifacts of dToF devices, and their performance often deteriorates significantly under severe sparsity or noise. We present a generalizable framework for dense metric depth completion from sparse dToF measurements, capable of operating across diverse sensor types, sparsity levels, and noise conditions. Our model employs a depth-guided dual-branch Vision Transformer encoder that processes RGB images and sparse dToF measurements separately, while a masked joint attention module allows depth tokens to reliably guide image features without being overwritten by them. A lightweight decoder reconstructs dense metric depth efficiently, without diffusion-based or refinement-heavy post-processing. To address the scarcity of paired training data, we introduce a comprehensive dToF simulation pipeline that reproduces the characteristics of flash, sub-VGA flash, and rotating sensors, including hardware-induced degradation, irregular sparsity, and realistic noise distributions. Trained entirely on synthetic data, our model achieves strong zero-shot generalization across 6 datasets and 3 real dToF devices, outperforming state-of-the-art approaches in both accuracy and computational efficiency. This establishes a robust and practical solution for dense metric depth completion from sparse direct ToF sensors. Our code and models are open-sourced. See https://vclab.kaist.ac.kr/cvpr2026p3.

arXivで原文を読む →arXiv概要ページ