Mambaベースの知識蒸留による軽量3D物体検出

本論文は、LiDARを用いた3D物体検出において、精度と計算効率のバランスを改善するための知識蒸留フレームワークを提案している。具体的には、強い教師モデルから軽量な生徒モデルへ、選択的なvoxel空間の特徴量アライメントを通じてオブジェクトレベルのvoxel表現を転移する。Mamba（選択的状態空間を持つ線形時間系列モデル）を活用し、マルチブランチのMamba教師バックボーンと、ボックス認識特徴転移メカニズムを設計する。これにより、教師と生徒のネットワーク間で空間的に対応するvoxel特徴をMambaベースの投影モジュールで整列させる。

既存のLiDARベース検出法は、複雑なアーキテクチャで多くの文脈情報を統合し精度を高めるが、計算コストが高く、リソース制約のある組み込みデバイスでは性能が最適ではない。本手法は、知識蒸留を用いて軽量モデルに教師モデルの表現を転移することで、計算負荷を大幅に削減しつつ、競争力のある精度を維持する点が新しい。特に、Mambaを教師バックボーンと投影モジュールに用いることで、効率的な特徴転移を実現している。

手法の核は、Mambaベースのマルチブランチ教師バックボーンと、ボックス認識特徴転移メカニズムである。教師モデルはMambaの線形時間特性を利用して効率的に特徴を抽出し、生徒モデルには選択的なvoxel空間の特徴アライメントを行う。具体的には、教師と生徒のvoxel特徴を空間的に対応させ、Mambaベースの投影モジュールで整列させることで、オブジェクトレベルの情報を効果的に転移する。

公開データセットと実世界データの両方で実験を行い、提案手法が計算負荷を大幅に削減しながら、最先端手法と比較して競争力のある精度を維持することを示した。

要旨からは、提案手法の限界や特定の条件下での性能低下などについての議論は不明である。また、知識蒸留の一般的な課題である教師と生徒のアーキテクチャの違いによる転移効率の影響などについても言及がない。

要旨で参照されている関連研究は明示されていないが、知識蒸留の分野ではHintonらの『Distilling the Knowledge in a Neural Network』や、3D物体検出ではVoxelNetやPointPillarsなどが定番である。また、Mambaに関連する研究として、Guらの『Mamba: Linear-Time Sequence Modeling with Selective State Spaces』が挙げられる。