日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

キーポイント検出arXiv:2611.23661

LightSEAD: 選択的知識蒸留による軽量SE(3)対応キーポイント検出器

LightSEAD: Lightweight SE(3)-Aware Keypoint Detector through Selective Knowledge Distillation

シェア:XThreadsFacebookLINEはてブBluesky

Harris疑似ラベルと視点・見た目認識の監督、選択的知識蒸留を組み合わせ、6層・約8.4万パラメータの超軽量キーポイント検出器を実現した論文。

詳しい要約

1. どんなもの?

- LightSEAD は軽量な SE(3)-aware keypoint detector - 6 層の convolutional layer のみ、learnable parameters は 84,289 - calibrated Harris pseudo-labels で初期化し、viewpoint-aware と appearance-aware の supervision、selective knowledge distillation で強化 - HPatches、KITTI 06、4Seasons で competitive な repeatability、MegaDepth-1500 で relative pose estimation に適用 - mixed-precision inference 最適化版 LightSEAD Coarse は NVIDIA RTX 4090 で約 909 FPS、Jetson Orin Nano Super で 139 FPS

2. 先行研究と比べてどこがすごい?

- 深層学習の性能向上がアーキテクチャの複雑化・計算需要増と伴う傾向に対し、より少ない計算で構造化 supervision により性能を得る方向を探る - 既存の大規模 keypoint detector と比べ、6 convolutional layers・84,289 parameters という極小構成で competitive repeatability を狙う点が特徴 - 具体的な比較対象の先行研究名は要旨からは不明

3. 技術・手法の肝は?

- calibrated Harris pseudo-labels で軽量モデルを初期化 - viewpoint-aware supervision と appearance-aware supervision を組み合わせて学習 - selective knowledge distillation により教師モデルの知識を選択的に蒸留 - SE(3)-aware な設計で視点変化に対応 - mixed-precision inference 向けに最適化した LightSEAD Coarse を用意

4. どうやって有効だと検証した?

- HPatches、KITTI 06、4Seasons で repeatability を評価し competitive な結果を報告 - MegaDepth-1500 で relative pose estimation への下流適用性を検証 - NVIDIA RTX 4090 と Jetson Orin Nano Super 上で mixed-precision inference の FPS を計測

5. 議論はある?

- 要旨からは不明 - 軽量性と性能のトレードオフ、selective knowledge distillation の寄与、各 supervision の効果に関する議論は要旨では明示されていない

6. 次に読むべき論文は?

- Harris corner detector(pseudo-label の基礎) - Knowledge distillation 関連の keypoint detector 研究 - HPatches、KITTI、4Seasons、MegaDepth-1500 を用いた keypoint detection / relative pose estimation の代表的研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mayowa Adebambo, Alexander D. Rast, Andrew Bradley

分類: cs.CV, cs.RO

原文アブストラクト

The pursuit of improved performance in deep learning has often been accompanied by increasing architectural complexity and computational demands. We explore an alternative direction: achieving more with less through structured supervision. We introduce LightSEAD, a lightweight SE(3)-aware keypoint detector initialised with calibrated Harris pseudo-labels and enriched through viewpoint-aware and appearance-aware supervision and selective knowledge distillation. LightSEAD comprises only six convolutional layers and 84,289 learnable parameters, achieving competitive repeatability across HPatches, KITTI 06 and 4Seasons while demonstrating its downstream applicability to relative pose estimation on MegaDepth-1500. Further optimised for mixed-precision inference, LightSEAD Coarse achieves approximately 909 FPS on an NVIDIA RTX 4090 and 139 FPS on a Jetson Orin Nano Super.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI