マルチモーダル認識/ロバスト性2026/9/28arXiv:2609.35264

融合前修復：破損したが存在するセンサのための凍結ホスト適応

Repair Before You Fuse: Frozen-Host Adaptation for Corrupted-but-Present Sensors

カメラとLiDARの両方が存在するが特徴が破損している場合に、検出器の融合インターフェースで残差補正を学習する凍結ホスト適応フレームワークBFRを提案し、KITTI-CとnuScenes-Rでロバスト性を向上させた。

詳しい要約

1. どんなもの？

- Camera-LiDAR 検出器が、両センサが存在・同期・校正済みでも信頼できない特徴を消費し続ける問題に対処する。 - **Boundary Feature Repair (BFR)** という frozen-host adaptation フレームワークを提案。 - 検出器が既に消費しているモダリティ境界で、タスク教師ありの残差補正を学習する。 - BFR-C は fusion が読む各 camera 特徴レベルを修復。 - BFR-L は host-conditioned LiDAR 候補を選択境界に整列し、凍結アンカーに対する site-wise innovations をルーティング。 - 両者を同時学習した構成が BFR-CL。

2. 先行研究と比べてどこがすごい？

- 従来の corruption 対策は再学習やクリーン参照・corruption metadata・時間履歴・オンライン更新を要することが多い。 - BFR は推論時にそれらを一切必要としない。 - 凍結した検出器を再学習せず、境界の残差補正のみを学習する retrofit 手法。 - ゼロ初期化 per-channel scales により最適化前は検出器レベルの恒等写像となり、既存性能を損なわない。 - 20 corruption・5 severity の KITTI-C 全体で RCE を削減し、nuScenes-R でも mAP ロバスト比を改善。

3. 技術・手法の肝は？

- 検出器のモダリティインターフェースにタスク教師あり残差補正モジュールを挿入。 - BFR-C: fusion が読む各 camera 特徴レベルを修復。 - BFR-L: host-conditioned LiDAR 候補を選択境界に整列し、凍結アンカーに対する site-wise innovations をルーティング。 - BFR-CL: BFR-C と BFR-L を同時学習。 - ゼロ初期化 per-channel scales により初期状態で恒等写像を保証。 - 学習するのは repair modules のみで、encoders・fusion consumer・router・detection head・host normalization statistics は凍結。 - 推論時にクリーン参照・corruption metadata・時間履歴・オンライン更新は不要。

4. どうやって有効だと検証した？

- KITTI-C の全 20 corruption・5 severity グリッドで評価。 - MVX-Net で BFR-C が RCE を 14.07 から 11.92 に削減。 - Focals Conv-F で BFR-C が RCE を 14.29 から 11.00 に削減。 - 同 host で BFR-L が AP_cor を 73.65 から 74.48 に向上。 - BFR-CL は AP_cor 77.01、RCE 10.46、clean AP 86.02 を達成。 - nuScenes-R で MoME baseline の mAP robustness ratio を 80.1 から 81.4 に改善。

5. 議論はある？

- 要旨からは、限界や失敗ケース、計算コスト、他 corruption タイプへの一般化に関する議論は不明。 - 凍結ホストへの retrofit として、展開済み検出器を再学習せずに腐敗-but-present センシングへ対処できる点を主張。 - クリーン参照やメタデータ不要で推論可能な点が実用上の利点として示唆される。

6. 次に読むべき論文は？

- MVX-Net - Focals Conv-F - MoME - KITTI-C - nuScenes-R - Camera-LiDAR fusion 検出器（一般名） - corruption robustness ベンチマーク（一般名）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gia-Huy Thai, Quang-Thinh Ly, Anh-Minh Phan, Tuan Dang

分類: cs.RO

原文アブストラクト

Camera-LiDAR detectors can continue to consume unreliable features even when both sensors remain present, synchronized, and calibrated. We introduce \emph{Boundary Feature Repair} (BFR), a frozen-host adaptation framework that learns task-supervised residual corrections at modality interfaces the detector already consumes. BFR-C repairs each camera feature level read by fusion, whereas BFR-L aligns host-conditioned LiDAR candidates to a selected boundary and routes site-wise innovations relative to the frozen anchor. Their jointly trained composition is BFR-CL. Zero-initialized per-channel scales make every variant an exact detector-level identity before optimization; only the repair modules train, while the encoders, fusion consumer, router, detection head, and host normalization statistics remain fixed. At inference, BFR requires neither clean references, corruption metadata, temporal history, nor online updates. Across the complete 20-corruption, five-severity KITTI-C grid, BFR-C reduces RCE from $14.07$ to $11.92$ on MVX-Net and from $14.29$ to $11.00$ on Focals Conv-F relative to their reproduced frozen baselines. On the latter host, BFR-L raises AP$_{\mathrm{cor}}$ from $73.65$ to $74.48$, while BFR-CL reaches $77.01$ AP$_{\mathrm{cor}}$ and $10.46$ RCE with $86.02$ clean AP. On nuScenes-R, BFR-CL raises the reproduced MoME baseline's mAP robustness ratio from $80.1$ to $81.4$. These results establish boundary repair as a targeted retrofit for corrupted-but-present sensing without retraining the deployed detector.

arXivで原文を読む →arXiv概要ページ

← 論文一覧