深度推定2026/9/4arXiv:2609.05397

CrossDepth: 幾何制約付き注意機構による汎化可能な多視点サラウンド深度推定

CrossDepth: Geometry-Constrained Attention for Generalizable Multi-View Surround Depth Estimation

自動運転のための多視点カメラ画像から、カメラ固有の違いと画像間の文脈不足を解決する幾何制約付き注意機構を用いた自己教師あり深度推定手法を提案した。

詳しい要約

1. どんなもの？

CrossDepthは、自動運転のためのマルチビューサラウンドカメラを用いた自己教師あり深度推定手法。カメラ固有の内部パラメータの違いと、各画像の限られた受容野に起因するクロスイメージ間の深度不整合を対象とし、ピクセルごとのカメラ認識レイ埋め込みと、校正済みリグ構成から導出される幾何学的に妥当な領域に制約されたクロスイメージアテンションを導入する。

2. 先行研究と比べてどこがすごい？

既存の自己教師ありマルチビュー深度推定法は、カメラ内部パラメータの違いや画像間の文脈不足を十分に扱えず、深度の不整合が生じる。CrossDepthは、カメラ認識レイ埋め込みにより内部パラメータの変動を考慮し、幾何学的制約付きクロスイメージアテンションで各ピクセルの文脈を他画像に拡張することで、これらの問題を明示的に解決し、in-domainおよびcross-domain評価でSOTAを上回る精度と一貫性を達成。

3. 技術・手法の肝は？

手法の核は2点。(1) 各ピクセルにカメラ固有のレイ方向と内部パラメータをエンコードしたray embeddingを特徴量に付加し、カメラに依存する単眼手がかりの解釈差を低減。(2) 校正済みリグから計算されるエピポーラ幾何や深度範囲などの幾何学的制約を用いて、クロスイメージアテンションの参照領域を限定し、計算効率と精度を両立。全体はphotometric consistencyに基づく完全自己教師あり学習。

4. どうやって有効だと検証した？

DDADおよびnuScenesデータセットを用いて、in-domain（同データセット内の訓練・評価）とcross-domain（異なるデータセット間での評価）の両方で、既存の自己教師あり手法と比較。深度精度（例：Abs Rel, RMSE）とクロスイメージ深度一貫性の指標で改善を確認。

5. 議論はある？

要旨からは、提案手法の限界や特定の条件下での性能低下に関する議論は不明。また、自己教師あり学習のため、photometric consistencyが成立しにくいシーン（例：動的物体、反射面）での影響や、計算コストの増加に関する考察は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連手法として、自己教師あり単眼深度推定（例：Monodepth2）やマルチビュー深度推定（例：ManyDepth）が挙げられる。また、クロスイメージアテンションの幾何学的制約に関連する研究として、エピポーラ幾何を用いたステレオマッチングや、トランスフォーマーを用いた3D認識の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samer Abualhanud, Max Mehltretter

分類: cs.CV, cs.RO

原文アブストラクト

Reliable 3D understanding of the surrounding environment is a core requirement for autonomous driving. Multi-view surround camera rigs provide broad scene coverage, but the spatially adjacent images typically overlap only minimally. Consequently, the depth of most pixels must be inferred from monocular appearance cues. These cues can appear differently across images and may therefore be interpreted differently by the depth estimation model. We target two main sources of cross-image inconsistency: differences in camera intrinsics and the limited receptive field of each image. We address the former by conditioning the features on per-pixel camera-aware ray embeddings, enabling the network to account for camera-dependent variations in monocular cues. We address the latter by extending each pixel's context beyond its own image through cross-image attention constrained to geometrically plausible regions, derived from the calibrated rig setup. The model is trained in a fully self-supervised manner based on photometric consistency. Evaluations on DDAD and nuScenes show improved overall depth accuracy and cross-image depth consistency over state-of-the-art self-supervised methods under in-domain and cross-domain evaluation. Code is available at https://abualhanud.github.io/CrossDepthPage/.

arXivで原文を読む →arXiv概要ページ