地理的定位2026/8/17arXiv:2608.16658

X$^2$Localizer: プログレッシブなクロスビュー動画地理的定位のためのクロス粒度アライメント

X$^2$Localizer: Cross-grained Alignment for Progressive Cross-view Video Geo-localization

本論文は、地上視点の動画を対応する航空画像に位置づけるクロスビュー動画地理的定位（CVG）を、部分的な観測や動的な時間予算に対応できるプログレッシブな設定（PCVG）に拡張し、新しいフレームワークX$^2$Localizerを提案する。

詳しい要約

1. どんなもの？

本論文は、Cross-view Video Geo-localization (CVG)の実用的な展開を目指し、Progressive Cross-view Video Geo-localization (PCVG)という新しい問題設定を提案する。PCVGは、可変の時間予算、prefixベースの推論、ランダム開始評価、中断を伴う長距離ローカライゼーションを可能にする。また、PCVGを解決するためのX$^2$Localizerというフレームワークを導入する。これは、グローバルなprefix-to-aerial検索とトークン集約されたフレーム-aerial-tileマッチングを、予算依存の非対称目的関数で共同で監視するクロス粒度アライメント手法である。さらに、Sliding-Window Re-Localization (SWRL)戦略により、全シーケンスの再処理なしに候補領域を動的に更新し、障害回復と長距離展開を実現する。

2. 先行研究と比べてどこがすごい？

従来のCVG手法は固定長の入力と後処理によるリファインメントに依存しており、部分的な観測や動的な観測下でのオンライン指向のローカライゼーションには適していなかった。本論文は、PCVGという展開指向の拡張と評価プロトコルを新たに定義し、従来の全ビデオ性能を維持しつつ、早期ローカライゼーションを大幅に改善する点が新しい。特に、単一フレーム設定では、粗い検索で+4.7 Recall@1、+11.5 Recall@10の改善を達成し、従来のSOTAを上回る。また、SWRLによりランダム開始や長距離シナリオでの頑健なプログレッシブローカライゼーションを可能にし、ベンチマーク評価と実世界展開のギャップを縮める。

3. 技術・手法の肝は？

X$^2$Localizerの技術的な肝は、クロス粒度アライメントフレームワークにある。具体的には、グローバルなprefix-to-aerial検索と、トークン集約されたフレーム-aerial-tileマッチングを同時に学習し、予算依存の非対称目的関数を用いて監視する。これにより、部分的な観測（prefix）からでも効果的なローカライゼーションが可能になる。また、SWRL戦略は、スライディングウィンドウで候補領域を動的に更新し、失敗回復と長距離展開を実現する。全シーケンスの再処理を必要としないため、オンライン推論に適している。

4. どうやって有効だと検証した？

実験では、従来の全ビデオ性能を維持しつつ、Recall@1で+0.1、Recall@10で+0.3の微増を確認した。さらに、早期ローカライゼーションの大幅な改善を示し、特に単一フレーム設定では、粗い検索で+4.7 Recall@1、+11.5 Recall@10の改善を達成した。SWRLを用いることで、ランダム開始や長距離シナリオでの頑健なプログレッシブローカライゼーションを実証した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な問題についての議論は明示されていない。ただし、PCVGという新しい問題設定自体が、評価プロトコルの複雑さを増す可能性があり、実世界の多様な状況への一般化についてはさらなる検証が必要かもしれない。また、SWRLの計算コストや、動的な観測に対する適応性の詳細は要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている先行研究や関連手法は明示されていないが、Cross-view Video Geo-localization (CVG)の従来研究や、Cross-view Image Geo-localizationの手法が関連する。また、プログレッシブなローカライゼーションやオンライン推論に関する研究も関連する。具体的には、CVGのベースライン手法や、Transformerベースのクロスビューアライメント手法を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zichao Zeng, Weijia Fan, Yufan Chen, June Moh Goo, Junwei Zheng, Ruiping Liu, Kunyu Peng, Jiaming Zhang, Rainer Stiefelhagen, Jan Boehm

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Cross-view Video Geo-localization (CVG) aims to localize ground-view videos by retrieving their corresponding geo-tagged aerial images. However, CVG approaches rely on fixed-length inputs and post-hoc refinement, hindering online-oriented localization under partial or dynamic observations. In this work, we formulate Progressive Cross-view Video Geo-localization (PCVG) as a deployment-oriented extension and evaluation protocol of CVG, enabling localization under varying temporal budgets, prefix-based inference, random-start evaluation, and long-range localization with interruptions. To explore PCVG, we introduce X$^2$Localizer, a cross-grained alignment framework that jointly supervises global prefix-to-aerial retrieval and token-aggregated frame--aerial-tile matching with a budget-dependent asymmetric objective. Furthermore, we introduce a Sliding-Window Re-Localization (SWRL) strategy that dynamically refreshes candidate regions for failure recovery and long-range deployment without full-sequence reprocessing. Extensive experiments show that X$^2$Localizer preserves conventional full-video performance, with marginal gains of +0.1 Recall@1 and +0.3 Recall@10, while substantially improving early localization. In the challenging single-frame setting, X$^2$Localizer improves coarse retrieval by +4.7 Recall@1 and +11.5 Recall@10 over the previous state-of-the-art method. With SWRL, our approach further enables robust progressive localization under random-start and long-distance scenarios, narrowing the gap between benchmark evaluation and real-world deployment.

arXivで原文を読む →arXiv概要ページ

← 論文一覧