セマンティックセグメンテーション2026/9/9arXiv:2609.09881

CLFTv2: 階層的特徴ピラミッドによる効率的なカメラ-LiDAR融合セマンティックセグメンテーション

CLFTv2: Efficient Camera-LiDAR Fusion for Semantic Segmentation via Hierarchical Feature Pyramids

Swinベースのマルチスケールエンコーダと軽量FPNデコーダでカメラとLiDARを融合し、自動運転のセマンティックセグメンテーションを高効率・高精度に実現した研究。

詳しい要約

1. どんなもの？

- 自動運転向けのcamera-LiDAR fusionによるsemantic segmentationフレームワークCLFTv2 - 2D perspective domainで動作し、Swin-based multi-scale encoderと軽量なFPN-style residual decoderを採用 - 特にvulnerable road users (VRUs)の検出とクラス不均衡への対応を狙う - 3つのdriving datasetで評価し、VRU recallを一貫して改善

2. 先行研究と比べてどこがすごい？

- 先行のCLFTモデルはglobal ViT attentionを使用していたが、CLFTv2はSwin-based multi-scale encoderに置き換え - ZODでCLFTv2-Largeが53.5% mIoU、pedestrian IoUを35.5%から44.9%へ改善 - Swin-based Mask2Former適応と比較し、GFLOPsが1.4倍少なく、throughputが2.2倍高い - 同等のoverall accuracyを維持しつつ効率性を向上

3. 技術・手法の肝は？

- hierarchical camera-LiDAR fusion framework - global ViT attentionをSwin-based multi-scale encoderに置換 - lightweight FPN-style residual decoderを採用 - shifted-window attentionとper-scale residual fusionによりmulti-scale geometric cuesを統合 - query-matching decoderの計算オーバーヘッドを回避

4. どうやって有効だと検証した？

- 3つのdriving datasetで評価 - ZODでCLFTv2-Largeが53.5% mIoU、pedestrian IoUが35.5%から44.9%へ向上 - Waymoで61.7% mIoUを達成 - modality-isolation studyを実施し、ViTのglobal receptive fieldがdense LiDAR returns下でのみ強いfusion gainsをもたらすことを示唆 - Swin-based Mask2Former適応と比較し、GFLOPsとthroughputを測定

5. 議論はある？

- hierarchical local-attention fusionがglobal-attentionやquery-based decoderに対する効率的でスケーラブルな代替となることを示す - ViTのglobal receptive fieldの利点はdense LiDAR returnsに依存する可能性を指摘 - real-time on-vehicle perception in intelligent transportation systemsへの応用を議論 - 要旨からは不明な点として、具体的な限界や失敗ケース、他のVRUカテゴリの詳細は記載なし

6. 次に読むべき論文は？

- CLFT (先行モデル) - Swin-based Mask2Former adaptation - ViT (Vision Transformer) - Swin Transformer - FPN (Feature Pyramid Network) - ZOD, Waymo (driving datasets)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Toomas Tahves, Mauro Bellone, Raivo Sell

分類: cs.CV, cs.RO

原文アブストラクト

Semantic segmentation for autonomous driving requires reliable detection of vulnerable road users (VRUs) despite heavy class imbalance. We introduce CLFTv2, a hierarchical camera-LiDAR fusion framework replacing global ViT attention with a Swin-based multi-scale encoder and a lightweight FPN-style residual decoder. Operating in the 2D perspective domain, CLFTv2 integrates multi-scale geometric cues through shifted-window attention and per-scale residual fusion, avoiding the computational overhead of query-matching decoders. Across three driving datasets, CLFTv2 consistently improves VRU recall. On ZOD, CLFTv2-Large achieves 53.5\% mIoU, improving pedestrian IoU from 35.5\% to 44.9\% over the prior CLFT model. On Waymo, CLFTv2 reaches 61.7\% mIoU. Additionally, a modality-isolation study suggests ViT's global receptive field yields stronger fusion gains only under dense LiDAR returns. Compared to a Swin-based Mask2Former adaptation, CLFTv2 requires 1.4$\times$ fewer GFLOPs and delivers 2.2$\times$ higher throughput, while achieving comparable overall accuracy. These results demonstrate that hierarchical local-attention fusion offers an efficient, scalable alternative to global-attention and query-based decoders for real-time on-vehicle perception in intelligent transportation systems. Source code is publicly available.

arXivで原文を読む →arXiv概要ページ