自動運転/シーン流2026/10/9arXiv:2610.12895

MeshBind: 非剛体シーン流の自動アノテーションのための点-メッシュバインディング

MeshBind: Point-to-Mesh Binding for Non-Rigid Scene Flow Automatic Annotation

メッシュモデルを用いて歩行者などの非剛体物体の点ごとのシーン流を自動生成するアノテーション手法を提案し、大規模ベンチマークSFBを公開した。

詳しい要約

1. どんなもの？

- 自動運転やロボティクスで重要なscene flow推定のための自動アノテーション手法。 - 非剛体物体（歩行者など）のper-point scene flowをメッシュモデルを用いて生成する。 - 6台のsurround cameraからarticulated mesh modelを再構成しLiDARフレームに位置合わせする。 - 各点をメッシュにバインドするlocal-frame binding技術を開発。 - 3層のflow registration pipelineで全シーンのper-point flowを生成。 - SF-Studioというインタラクティブアノテーションツールを実装。 - SFB（SUScape-Flow Benchmark）を公開。41kフレーム、非剛体歩行者アノテーション、Rigid/Semi-Rigid/Non-Rigid評価プロトコルを含む。

2. 先行研究と比べてどこがすごい？

- 従来は非剛体物体のground-truth scene flow取得が困難だった。 - MeshBindはメッシュモデルを用いて自動的にper-point scene flowを生成。 - 多視点モジュールでarticulated mesh modelを再構成しLiDARフレームに登録。 - local-frame bindingで剛体運動に不変で関節変形に適応。 - 3層パイプラインでego-vehicle motion compensation、box binding、mesh bindingを統合。 - SFBベンチマークを公開し、非剛体物体の評価プロトコルを提供。 - ファインチューニングでthree-way EPEを2-3倍削減し、非剛体EPEを剛体EPEと同レベルに。

3. 技術・手法の肝は？

- 6台のsurround cameraからarticulated mesh modelを再構成しLiDARフレームに位置合わせするmulti-view module。 - 各点をper-triangle tangent-normal frameを介してメッシュにバインドするlocal-frame binding technique。 - 剛体運動に不変で関節変形に適応。 - 3層のflow registration pipeline：ego-vehicle motion compensation、box binding、mesh binding。 - SF-Studioで可視化と人間によるメッシュ修正、自動再計算を実現。

4. どうやって有効だと検証した？

- SFB（SUScape-Flow Benchmark）を構築。公開SUScapeデータセットに基づく。 - 41kフレーム、per-point非剛体歩行者アノテーションを含む。 - Rigid/Semi-Rigid/Non-Rigid評価プロトコルを採用。 - 実験でSFBでのファインチューニングによりthree-way EPEが2-3倍削減。 - 非剛体EPEが剛体EPEと同レベルに到達。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- SUScape dataset（SFBの基盤） - 関連手法：scene flow estimation、automatic annotation、mesh-based tracking - 比較対象：rigid scene flow手法、非剛体物体のアノテーション手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinqi Chen, E Li, Shuaijun Wang, Weiyuan Peng, Meiying Zhang, Qi Hao

分類: cs.CV

原文アブストラクト

Scene flow estimation is essential for many autonomous driving (AD) and robotic applications, but obtaining ground-truth scene flow for non-rigid objects such as pedestrians is highly difficult. We present MeshBind, an automatic annotation method that uses mesh models to generate per-point scene flow for non-rigid objects. The novelty of this work is threefold: 1) developing a multi-view module that reconstructs an articulated mesh model from six surround cameras and registers it to the LiDAR frame; 2) developing a local-frame binding technique that attaches each point to the mesh via a per-triangle tangent-normal frame, invariant under rigid motion yet adaptive to articulated deformation; 3) developing a three-layer flow registration pipeline that combines ego-vehicle motion compensation, box binding, and mesh binding to produce full-scene per-point flow. We implement MeshBind in SF-Studio, an interactive annotation tool that visualises flow and allows human mesh corrections with automatic recomputation. We also release SFB (SUScape-Flow Benchmark), a large-scale benchmark built on the public SUScape dataset, covering 41k frames with per-point non-rigid pedestrian annotations and a Rigid/Semi-Rigid/Non-Rigid evaluation protocol. Experiments show that fine-tuning on SFB reduces three-way endpoint error (EPE) by 2-3x, and brings non-rigid EPE to the same level as rigid EPE.

arXivで原文を読む →arXiv概要ページ

← 論文一覧