深度推定2026/8/12arXiv:2608.11564v1

RGB基盤モデルの階層的監視による熱画像深度推定への転用

Repurposing RGB-based Foundation Model for Depth Estimation on Thermal Images Using Hierarchical Supervision

熱画像からの深度推定において、RGB基盤モデルの階層的表現を活用するフレームワークRGB-HSを提案し、マルチレベルでの特徴整合と品質検証により性能を向上させた。

詳しい要約

1. どんなもの？

本論文は、RGB画像で事前学習されたFoundation Modelの階層的表現を活用し、熱画像からの深度推定を行う新しいフレームワークRGB-HSを提案する。熱画像は夜間や雨天などの悪条件下でのロボット応用に有用だが、RGBベースのFoundation Modelの知識を熱モダリティへ転移する既存研究では、モデルが持つ豊かな階層的表現が十分に活用されていなかった。RGB-HSは、熱画像用のエンコーダをFoundation Modelに置き換え、同じアーキテクチャのFoundation Modelをエンコーダとする並列のRGBブランチを導入し、複数レベルでトークン間のアライメントを行う。さらに、RGB画像の品質に基づいてトークンに重み付けするverification機構を導入する。

2. 先行研究と比べてどこがすごい？

先行研究では、RGBベースのFoundation Modelから熱モダリティへの知識転移が試みられてきたが、モデルが符号化する階層的表現（構造的精度と意味的抽象度）を十分に活用していなかった。RGB-HSは、複数レベルでのアライメントにより、構造的精度と意味的抽象度の両方を熱学生ブランチに獲得させる点で優れている。また、verification機構により、RGB画像の品質に応じてアライメントを調整する点も新規性が高い。

3. 技術・手法の肝は？

手法の肝は、①熱画像用のベースラインエンコーダをFoundation Modelに置き換えること、②同じアーキテクチャのFoundation Modelをエンコーダとする並列RGBブランチを導入し、RGB画像を入力とすること、③2つのエンコーダのトークン間で複数レベルにわたるアライメントを行い、熱学生ブランチがRGB教師ブランチから構造的精度と意味的抽象度を獲得すること、④verification機構により、RGB画像の品質に基づいてRGBブランチのトークンに重み付けし、アライメントを精緻化することである。

4. どうやって有効だと検証した？

一般的なベンチマーク（具体的なデータセット名は要旨に記載なし）での広範な実験により、RGB-HSが競争力のある性能を達成し、熱画像の深度推定においてRGBベースのFoundation Modelの表現能力をより効果的に活用できることを実証した。

5. 議論はある？

要旨からは、提案手法の限界や特定の議論点は不明である。ただし、RGB画像の品質に依存するverification機構は、RGB画像が利用できない状況や品質が低い場合に性能が低下する可能性が考えられるが、要旨では言及されていない。

6. 次に読むべき論文は？

要旨で参照または比較されている研究は明示されていないが、関連する分野として、RGB-based Foundation Model（例：DINOv2, CLIP）や、熱画像からの深度推定、クロスモーダル知識蒸留に関する論文が挙げられる。具体的には、RGB-based Foundation Modelの熱モダリティへの転移を扱った既存研究や、Depth Estimation with Foundation Modelsに関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jie Hong, Tingtian Li, Xuesong Li, Xiao Li

分類: cs.CV, cs.RO

原文アブストラクト

Depth estimation from thermal images is highly valuable for robotic applications in adverse conditions, such as nighttime and rainy weather. Recent studies have sought to transfer knowledge from RGB-based foundation models to thermal modalities, yet the rich hierarchical representations these models encode remain underutilized. To address this limitation, we propose RGB-HS, a novel framework for thermal-image depth estimation that leverages hierarchical supervision from an RGB-based foundation model. Specifically, we first replace the baseline thermal encoder with a foundational model and introduce a parallel RGB branch that also employs a foundational model as an encoder of the same architecture, taking RGB images as input. The alignment is then performed across multiple levels between the tokens of the two encoders, allowing the thermal student branch to capture both structural precision and semantic abstraction from the RGB teacher branch. Furthermore, we introduce verification to refine the alignment process by weighting tokens from the RGB branch based on RGB image quality. Extensive experiments on the popular benchmark demonstrate that RGB-HS achieves competitive performance and more effectively exploits the representational capacity of RGB-based foundation models for depth estimation on thermal images.

arXivで原文を読む →arXiv概要ページ

← 論文一覧