MatchFusion: 時空間マルチモーダル自動運転のための明示的・暗黙的インスタンスマッチング

- 自動運転向けの時空間マルチモーダル知覚・E2EADのための学習可能なインスタンスマッチング・融合モジュール。 - 空間的なLiDAR-camera間と時間的なpast-current間の相互作用を、sparse instance表現上で実現する。 - 幾何類似度とカテゴリ一貫性で初期アフィニティを生成し、instance embeddingsで曖昧な対応を選択的に精緻化する。 - 得られたsoft matchmapが共通のresidual aggregation operatorを導き、適応的な情報交換を行う。 - 空間ではmulti-view image-plane geometry、時間ではmotion-compensated BEV geometryを構造的priorとして用いる。

- attentionベース手法は文脈的意味を活用できるが、専用の表現アラインメントが必要で計算オーバーヘッドが増大する。 - 構造化object statesに基づくassociationは効率的で解釈可能だが、曖昧なマッチを解決する文脈的証拠を欠く。 - MatchFusionは両者の補完的強みを統合し、幾何・カテゴリの構造的priorとinstance embeddingsを組み合わせる。 - 先行のinstance-centric fusion手法と比較して、知覚精度を高めつつFLOPsを55.3%削減、GPUメモリ使用量を39.3%削減。 - matching-fusionモジュールは総知覚レイテンシの3.7%のみを占める。

- ペアワイズアフィニティを幾何類似度とカテゴリ一貫性で初期化する。 - 構造的に妥当なassociationをinstance embeddingsで選択的に精緻化する。 - 得られたsoft matchmapが共通のresidual aggregation operatorを導き、適応的情報交換を実現する。 - 空間LiDAR-camera相互作用ではmulti-view image-plane geometryを構造的priorとして使用。 - 時間past-current相互作用ではmotion-compensated BEV geometryを構造的priorとして使用。 - 統一的なmatching-fusion定式化により、空間と時間の両方のインスタンス相互作用をサポートする。

- nuScenesデータセットでの実験により、多様なfront-end構成にわたり一貫した知覚向上を実証。 - 先行のinstance-centric fusion手法と比較し、より高い知覚精度とFLOPs 55.3%削減、GPUメモリ39.3%削減を達成。 - matching-fusionモジュールが総知覚レイテンシの3.7%のみであることを示した。 - SparseDriveに時間的MatchFusionを統合し、追加のsupervisionなしでE2Eフレームワーク内の知覚を改善。 - これらの結果から、explicit-implicit matchingが時空間インスタンス相互作用の効果的かつ効率的なメカニズムであると結論。

- 要旨からは、限界や失敗ケース、計算コストの詳細な内訳、他のデータセットへの汎化性についての議論は明示されていない。 - 幾何的・意味的異質性や曖昧なマッチングへの対処が中心的な課題として提示されている。 - 構造的priorとinstance embeddingsの選択的精緻化のバランスが性能と効率に寄与することが示唆される。 - 追加のsupervisionなしでE2Eフレームワークに統合可能である点が強調されている。 - より広い議論は要旨からは不明。

- 要旨で比較されている先行のinstance-centric fusion手法（具体的名称は要旨からは不明）。 - SparseDrive（時間的MatchFusionを統合したE2Eフレームワーク）。 - attentionベースのマルチモーダル融合手法（一般的な関連研究）。 - LiDAR-camera fusionやBEV知覚に関する研究（一般的な関連分野）。 - E2EAD（End-to-End Autonomous Driving）に関する研究（一般的な関連分野）。