日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

カメラ再定位arXiv:2611.10263

文脈条件付きエキスパートルーティングによるカメラ再定位向けコンパクトシーン座標回帰

DAC-MACE: Context-Conditioned Expert Routing for Compact Scene Coordinate Regression in Camera Relocalization

シェア:XThreadsFacebookLINEはてブBluesky

シーン座標回帰のMixture-of-Expertsにおいて、文脈適応器とグローバル文脈エンコーダでルーティング入力を再校正し、屋外の大規模シーンでも高精度なカメラ位置推定を実現した。

詳しい要約

1. どんなもの?

- カメラ画像を事前構築した map に対して relocalize し、絶対 pose sensor として使うための手法 - Scene coordinate regression (SCR) により、compact な network が各 pixel の 3D coordinate を予測する枠組み - mixture-of-experts (MoE) を SCR に組み合わせ、大規模 outdoor scene への拡張を狙う - 提案手法 DAC-MACE は、soft expert routing を recalibrated かつ contextualized な特徴に条件付ける - pose 推定は dual-threshold RANSAC--Levenberg--Marquardt estimator で行う

2. 先行研究と比べてどこがすごい?

- 既存 MoE-based SCR では router が expert の回帰入力と同じ local descriptor から expert を割り当てるため、場所の異なる類似 facade や window が似た routing 入力になる問題があった - DAC-MACE は routing を recalibrated/contextualized 特徴に条件付けることでこれを緩和 - Cambridge Landmarks で RGB-only SCR 比較中最小の mean per-scene median translation error 13.0 cm を達成 - GLACE 13.6 cm、MACE 14.4 cm を上回る - 最大 scene で MACE 比 24 cm → 19 cm に誤差低減 - 7-Scenes で single ACE head に GCE を追加し Recall@(5 cm, 5°) を 86.56% → 87.60% に改善

3. 技術・手法の肝は?

- residual context adapter (RCA): frozen encoder 特徴の channel と location を reweight - global context encoder (GCE): multi-scale self-attention で特徴を混合 - image-level pooled descriptor を router 入力に追加 - これらにより soft expert routing を recalibrated/contextualized 特徴に条件付け - pose 推定に dual-threshold RANSAC--Levenberg--Marquardt estimator を採用

4. どうやって有効だと検証した?

- Cambridge Landmarks で 3 seeds の mean per-scene median translation error を評価 - RGB-only SCR 手法 (GLACE, MACE) と比較 - 最大 scene での MACE との誤差比較 - cumulative study で MoE head, GCE, RCA, dual-threshold estimator の寄与を段階的に検証 - mean error 17.0 → 14.4 → 14.0 → 13.6 → 13.0 cm - 7-Scenes で single ACE head に GCE を追加し Recall@(5 cm, 5°) を比較

5. 議論はある?

- 要旨からは不明 - 明示されているのは上記の誤差低減と Recall 改善の定量的結果 - 限界や失敗事例、計算コスト、map 構築時間などに関する議論は要旨からは不明

6. 次に読むべき論文は?

- MACE (比較対象の MoE-based SCR) - GLACE (比較対象の RGB-only SCR) - ACE (7-Scenes で GCE を追加した single head の基盤) - RANSAC--Levenberg--Marquardt estimator 関連の pose 推定研究 - multi-scale self-attention を用いた context encoder 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dingying Fan, Mingkai Liu, Haohua Que, Haojia Gao, Xianliang Huang, Qian Zhang, Xueqian Wang, Fei Qiao

分類: cs.CV

原文アブストラクト

A camera becomes an absolute pose sensor when its images can be relocalized against a prebuilt map of the scene. On mobile robots and augmented-reality devices, that map must be small and quick to build. Scene coordinate regression (SCR) stores the scene in a compact network that predicts a 3D coordinate for every pixel, and mixture-of-experts (MoE) variants extend its capacity to larger outdoor scenes. In existing MoE-based SCR, however, the router assigns each pixel to an expert from the same local descriptor that the experts regress from, so repeated facades and windows at different locations receive similar routing inputs. We present DAC-MACE, which conditions soft expert routing on recalibrated and contextualized features. A residual context adapter (RCA) reweights the channels and locations of frozen encoder features, a global context encoder (GCE) mixes them with multi-scale self-attention, and an image-level pooled descriptor is added to the router input. A dual-threshold RANSAC--Levenberg--Marquardt estimator recovers the pose. On Cambridge Landmarks, DAC-MACE attains a mean per-scene median translation error of 13.0 cm over three seeds, the lowest among the RGB-only SCR methods compared (GLACE 13.6 cm, MACE 14.4 cm), and reduces the error on the largest scene from 24 to 19 cm relative to MACE. In a cumulative study, the MoE head, GCE, RCA, and the dual-threshold estimator lower the mean error from 17.0 cm to 14.4, 14.0, 13.6, and 13.0 cm. On 7-Scenes, adding GCE to a single ACE head raises Recall@(5 cm, 5$^\circ$) from 86.56% to 87.60%.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI