LiDAR動体セグメンテーションのためのマルチビュー時空間融合ネットワークMVSTF
MVSTF: Multi-View Spatio-Temporal Fusion for LiDAR-Based Moving Object Segmentation
連続点群からマルチビュー画像と特徴差分を生成し、マルチブランチネットワークで時空間・次元特徴を並列抽出するLiDAR動体セグメンテーション手法を提案し、SemanticKITTIとKITTI-Roadで最先端性能を達成した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jiaoju Zhou, Chao Ye, Xuebo Yang, Weiyang Lin
分類: cs.CV, cs.RO
原文アブストラクト
Autonomous mobile robots confront significant chal lenges in recognizing the motion properties of objects in dy namic environments. However, existing methods are hindered by limitations such as boundary ambiguity, occlusion, viewpoint constraints, and training complexity. In this paper, we propose an innovative end-to-end Multi-View Spatio-Temporal Fusion network, named MVSTF, which utilizes sequential point clouds to generate multi-view images and feature differences, and designs a multi-branch network to extract spatio-temporal and dimen sional features in parallel, and realizes high-precision moving object segmentation. First, sequential point clouds are utilized to generate multi-view images and feature differences. Then, an end-to-end multi-branch network including Dual Down-sampling Blocks (DDB), Spatial Attention Blocks (SAB), Multi-Kernel Convolutional Neural Network blocks (MKCNN), Dual Feature Fusion Blocks (DFFB), and the Point Fusion (PF) module, is designed to extract motion features from feature differences and geometric and semantic features from multi-view images. Finally, an auxiliary semantic head is introduced to further improve the algorithm's robustness and the model's interpretability. This work is validated on the SemanticKITTI and KITTI-Road bench marks, achieving state-of-the-art results on the SemanticKITTI MOS validation set and the KITTI-Road validation set, and competitive results on the hidden SemanticKITTI-MOS test set. The code is available at https://github.com/ZhouJJ111/MVSTF.
関連論文
- HiPFuse: エッジデバイス上のロボット知覚向けリアルタイムLiDARセマンティックセグメンテーションLiDARセグメンテーション
- レイ整合・スキャン認識型融合ネットワークによるLiDARセマンティックセグメンテーションLiDARセグメンテーション
- 不完全ラベル下でのLiDARセマンティックセグメンテーションにおける単一ドメイン汎化の探求LiDARセグメンテーション
- BikeScenes: 自転車向けオンラインLiDARセマンティックセグメンテーションLiDARセグメンテーション
- 点-平面投影による小規模データでの高精度LiDARセマンティックセグメンテーションLiDARセグメンテーション
- 不確実性を考慮した学習によるオープンセットLiDARパノプティックセグメンテーションLiDARセグメンテーション
