クロスモーダル検索2026/10/29arXiv:2610.40525

CrossWeave: 疎な2D-3D対応によるクロスモーダルなシーン・インスタンス検索

CrossWeave: Cross-Modal Scene and Instance Retrieval from Sparse 2D-3D Alignment

シーン全体や物体単位の対比学習ではなく、疎な2D-3Dパッチ・点対応の教師信号だけで学習するクロスモーダル検索フレームワークを提案し、単一モデルでシーン検索とインスタンス検索の両方でSOTAを達成した。

詳しい要約

1. どんなもの？

- 2D画像クエリから対応する3D環境(scene)や物体(instance)を検索するcross-modal retrievalのためのフレームワークCrossWeaveを提案 - roboticsやAR/VRにおけるspatial reasoningの基盤機構を狙う - 単一モデルでscene-levelとinstance-levelの両方のretrievalを実現 - sparseな2D-3D correspondenceへの監督のみで学習する点が特徴

2. 先行研究と比べてどこがすごい？

- 既存手法はscene全体やobject全体のレベルでのみalignmentを学習し、内部のfine-grained local structureへの監督が無い - CrossWeaveはsparseな2D-3D correspondencesへの監督のみで、scene/instanceレベルのcontrastive objective無しに学習 - そのalignment学習のみで既存手法を上回る性能 - 既存手法がscene用・instance用に別モデルを要するのに対し、単一モデルで両タスクのstate-of-the-artを達成

3. 技術・手法の肝は？

- sparse patch-point alignmentの学習を核とするcross-modal retrievalフレームワーク - 整列されたfeaturesに対しoptimal transport-based aggregatorを適用 - aggregatorが構造的に冗長な領域をclusteringし、意味的に異なるlocal featuresへdescriptor容量を配分 - scene/instanceレベルのcontrastive objectiveを用いず、sparse correspondence監督のみで訓練

4. どうやって有効だと検証した？

- ScanNetと3RScan上でscene-levelおよびinstance-level retrievalを評価 - 単一モデルで両タスクのstate-of-the-art性能を達成したと報告 - sparse patch-point alignmentのみの学習が既存手法を上回ることを示す - aggregator追加による更なる性能向上を確認(具体的な数値・実験設定は要旨からは不明)

5. 議論はある？

- whole-scene encodingはcross-modal retrievalに不要である可能性を示唆 - sparse local correspondence supervisionがより効果的かつ柔軟な代替であると主張 - ただし定量的なablation詳細や限界・失敗ケースは要旨からは不明 - optimal transport-based aggregatorの寄与度の内訳も要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照/比較されている既存手法の個別名は記載なし - 関連手法としてscene/instanceレベルのcontrastive learningを用いるcross-modal retrieval手法、optimal transportベースのfeature aggregation、ScanNet・3RScanを用いた3D scene/instance retrievalの定番研究を次に読むべき候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aadith Warrier, Gnana Prakash Punnavajhala, Siddharth Tourani, Muhammad Haris Khan, Avinash Sharma, Madhava Krishna

分類: cs.CV

原文アブストラクト

Cross-modal scene and instance retrieval aims to retrieve a corresponding 3D environment or object given query 2D images, serving as a foundational mechanism for spatial reasoning in robotics and AR/VR. Existing methods achieve this by learning alignment only at the level of whole scenes or objects, which provides no supervision for the fine-grained local structure within them. In this work, we show that supervision on a set of sparse 2D-3D correspondences, without scene- or instance-level contrastive objectives, is sufficient to train a single model for both scene- and instance-level retrieval. Specifically, we propose $\textbf{CrossWeave}$, a novel framework for cross-modal retrieval that learns sparse patch-point alignment, which alone outperforms existing methods. An optimal transport-based aggregator over the aligned features gives further gains by clustering structurally redundant regions, freeing descriptor capacity for semantically distinct local features. CrossWeave achieves state-of-the-art performance on both scene- and instance-level retrieval on ScanNet and 3RScan with a $\textit{single model}$, whereas existing methods require separate models for each task. Our results suggest that whole-scene encoding is unnecessary for cross-modal retrieval and that sparse local correspondence supervision is a more effective and flexible alternative.

arXivで原文を読む →arXiv概要ページ

← 論文一覧