視覚表現学習2026/8/27arXiv:2608.27226

DINOcular: 自己教師あり視空間表現の学習

DINOcular: Self-Supervised Visuospatial Representations

RGB-D観測から視覚と空間情報を同時に学習する自己教師ありフレームワークを提案し、3D認識性能を向上させつつセマンティック転移も維持する。

詳しい要約

1. どんなもの？

DINOcularは、RGB-D観測から自己教師ありで視覚空間表現を学習するフレームワークを提案する。視覚バックボーンに深度由来の幾何学的先行知識を統合し、外観と空間構造の両方を効率的に符号化する。

2. 先行研究と比べてどこがすごい？

従来の視覚基盤モデルはRGB画像のみで訓練されることが多く、明示的な深度情報を利用しない。DINOcularは深度センシングを活用し、単眼入力では回復できない幾何学的情報を統合することで、3D認識能力を向上させつつ、意味的転移を維持する点が新しい。

3. 技術・手法の肝は？

手法の核は、深度から得られる幾何学的先行知識を視覚バックボーンに統合する点である。具体的には、パッチ間融合（inter-patch fusion）とパッチ内融合（intra-patch fusion）を用いて、外観と空間構造を効率的に符号化する。

4. どうやって有効だと検証した？

複数の3D幾何学ベンチマークで、同等規模の先行手法を上回る性能を示し、標準的なRGB-Dセマンティックセグメンテーションタスクでも競争力のある結果を維持することを確認した。

5. 議論はある？

要旨からは、深度情報の統合が3D認識に有効である一方、セマンティックセグメンテーションでは競争力があるものの優位性は明確でない。また、計算コストやスケーラビリティに関する議論は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で参照されている先行研究や関連手法は明示されていないが、自己教師あり視覚表現学習の分野では、DINOやMAEなどの手法が関連する。また、RGB-Dセマンティックセグメンテーションの定番手法も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Farkhat Almukhamedov, Sami Azirar, Hermann Blum

分類: cs.CV

原文アブストラクト

We introduce a self-supervised framework for learning joint visuospatial representations from RGB-D observations. While modern vision foundation models are trained almost exclusively on RGB images, many embodied systems have access to explicit depth sensing, which provides geometric information that monocular inputs cannot recover. Our method integrates depth-derived geometric priors with a visual backbone through inter-patch and intra-patch fusion, enabling the model to encode both appearance and spatial structure efficiently. The resulting representation shows promising improvements on 3D awareness while preserving semantic transfer: it outperforms prior methods of comparable scale on multiple 3D geometry benchmarks, and remains competitive when probed for standard RGB-D semantic segmentation tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧