イベントで基盤モデル特徴を更新するALIVE
ALIVE: Bring Foundation Features to Life with Events
イベントカメラのデータを使って画像の合間にDINOv3の特徴を軽量に更新し、検出・セグメンテーション・深度推定を高精度化した研究。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Rong Zou, Haiqing Hao, Davide Scaramuzza
分類: cs.CV, cs.RO
原文アブストラクト
Visual foundation models provide powerful representations for diverse tasks, but their features become stale as visual content changes between image observations. Refreshing them requires new frames and repeated runs of a computationally expensive image encoder. We introduce ALIVE, an event-based method that incrementally updates native foundation model features between image observations. Given an anchor image, ALIVE uses subsequent events to transport and correct existing multi-layer features extracted by a frozen DINOv3 encoder. Its lightweight updater is trained end-to-end using only synthetic data, without downstream task supervision, and transfers directly to real-world event streams without any adaptation. Across three real-world datasets and five task-dataset settings spanning object detection, semantic segmentation, and depth estimation, ALIVE outperforms all evaluated event-based methods in every metric. On DSEC, when the anchor frame is 200,ms old, ALIVE improves over anchor-image predictions by 30.9,mAP in detection, 11.6,mIoU in segmentation, and 15.9% in depth AbsRel. Compared with image re-encoding, ALIVE reduces FLOPs by 82.4% and latency by a factor of 2.5.
関連論文
- 効率的なイベントカメラボリュームシステムイベントカメラ
- 動きを考慮したイベントカメラのイベント抑制イベントカメラ
- イベントカメラでドメインギャップを埋めるイベントカメラ
- スパイキングパッチ:イベントカメラのための非同期・スパース・効率的トークン化イベントカメラ
- 高速特徴場(F³): イベントデータの予測的表現イベントカメラ
- VibES: 持続的なイベントベースセンシングのための誘起振動イベントカメラ
