日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
セグメンテーションarXiv:2609.25490

SAM-V: マルチビューインスタンスセグメンテーションのための幾何認識型Segment Anything

SAM-V: Geometry-Aware Segment Anything for Multi-View Instance Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

フィードフォワード幾何モデル(VGGT)の特徴を2Dセグメンテーション基盤モデル(SAM)に統合し、オフラインのマスクマッチングや3D再構成なしで、単一の順伝播でマルチビューに一貫したインスタンスセグメンテーションを実現した。

詳しい要約

1. どんなもの？

- 多視点での一貫した物体セグメンテーションを目的とした SAM-V を提案 - 2D 基盤モデル SAM と feed-forward 幾何モデル VGGT を end-to-end で統合 - 単一 forward pass で prompted object の multi-view instance segmentation を実現 - offline mask matching や explicit 3D reconstruction を不要とする - コードと pretrained models を公開

2. 先行研究と比べてどこがすごい？

- 従来は point cloud 上の 3D instance segmentation か offline 2D mask-matching pipeline - 3D は 3D annotations が乏しく、offline 2D matching は frame 間の object identity ambiguity が問題 - SAM-V は post-hoc matching ではなく、2D と 3D の prior を直接統合 - IGGT 3D tracking benchmark の ScanNet++ split で SOTA multi-view instance segmentation baseline に対し overall IoU +5 points、frame-level recall +12 points - zero-shot ScanNet split では全指標でリード

3. 技術・手法の肝は？

- feed-forward geometry model VGGT の features を 2D segmentation foundation model SAM に統合 - cross-view instance prediction のために end-to-end で学習 - prompt-fusion mechanism を導入 - sparse SAM prompt tokens を view-specific camera tokens と local VGGT features で enrich - prompt representation を view-aware かつ spatially grounded にする - mask decoder が dense 2D features と 3D features の両方に attend - mask decoding を multi-view geometry に直接条件付け - offline mask matching や explicit 3D reconstruction なしで一貫した multi…

4. どうやって有効だと検証した？

- IGGT 3D tracking benchmark で評価 - frame 間の consistent instance identity が性能を直接左右する benchmark - ScanNet++ split で SOTA multi-view instance segmentation baseline に対し overall IoU +5 points、frame-level recall +12 points - zero-shot ScanNet split で全指標リード - 詳細な ablation や実装条件は要旨からは不明

5. 議論はある？

- 3D annotations の不足と offline 2D matching の identity ambiguity を同時に回避する狙い - 2D と 3D の prior を post-hoc でなく end-to-end に統合する点が議論の中心 - 限界、失敗事例、計算コスト、一般化可能性についての議論は要旨からは不明

6. 次に読むべき論文は？

- SAM (Segment Anything Model) - VGGT (feed-forward geometry model) - IGGT 3D tracking benchmark - ScanNet++ / ScanNet - 3D instance segmentation on point clouds - offline 2D mask-matching pipelines

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiangshan Gong, Yuqun Wu, Qiqian Fu, Yao Xiao, Chuhang Zou, Shenlong Wang, Derek Hoiem

分類: cs.CV, cs.LG

原文アブストラクト

Consistent multi-view object segmentation is critical for 3D perception and robotics, yet remains challenging under severe viewpoint and occlusion changes. Existing methods typically perform 3D instance segmentation on point clouds or rely on offline 2D mask-matching pipelines. However, 3D instance segmentation is limited by scarce 3D annotations, while offline 2D matching suffers from object identity ambiguity across frames. To leverage strong 2D and 3D priors jointly, we propose SAM-V (Geometry-Aware Segment Anything for Multi-View Instance Segmentation). Instead of combining the two priors through post-hoc matching, SAM-V directly integrates features from a feed-forward geometry model (VGGT) into a 2D segmentation foundation model (SAM), trained end-to-end for cross-view instance prediction. SAM-V introduces a prompt-fusion mechanism that enriches sparse SAM prompt tokens with view-specific camera tokens and local VGGT features, making the prompt representation both view-aware and spatially grounded, together with a mask decoder that attends to dense 2D and 3D features. By conditioning the mask decoding directly on multi-view geometry, SAM-V produces consistent multi-view segmentation of a prompted object in a single forward pass without offline mask matching or explicit 3D reconstruction. On the IGGT 3D tracking benchmark, where consistent instance identity across frames directly determines performance, SAM-V improves overall IoU by 5 points and frame-level recall by 12 points on the ScanNet++ split over the state-of-the-art multi-view instance segmentation baseline and leads on all metrics in the zero-shot ScanNet split. Our code and pretrained models are available at https://github.com/gong208/SAM-V.git.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI