3D再構成/インスタンス分離2026/9/10arXiv:2609.11279

SAMV-DUSt3R: 疎な多視点画像からのインスタンス中心3Dシーン分離

SAMV-DUSt3R: Instance-Centric 3D Scene Decoupling from Sparse Multi-Views

SAM2の2DマスクをMV-DUSt3R再構成に統合し、対象インスタンスを分離しつつ形状精度を高める単一ステージの3D再構成モデルを提案。

詳しい要約

1. どんなもの？

- 3Dシーンからオブジェクトを分離する需要の高まりに対し、SAMV-DUSt3Rを提案。 - SAM2の2DマスクをMV-DUSt3R再構成に注入するend-to-endモデル。 - Cross Flow Mask Blockがマスクを用いてネットワークを対象インスタンスに誘導。 - 多段パイプラインなしで形状精度とオブジェクトレベルの分離を同時に改善。 - 軽量なSpatial RankGNNが最適参照ビューを選択し、再構成の安定性を確保。

2. 先行研究と比べてどこがすごい？

- 従来の多段パイプラインを必要とせず、end-to-endでオブジェクト分離を実現。 - 最先端ベースラインと比較して、様々な指標で平均再構成精度を11%向上。 - 参照ビュー選択精度73.5%を達成し、再構成の安定性を確保。 - インスタンス分離能力が強く、driving、robotics、AR/VR、heritage digitisationに利益。

3. 技術・手法の肝は？

- SAM2の2DマスクをMV-DUSt3R再構成に注入するend-to-endモデル。 - Cross Flow Mask Blockがマスクを利用してネットワークを対象インスタンスに誘導。 - 軽量なSpatial RankGNNが最適参照ビューを選択。 - 多段パイプラインを排除し、形状精度とオブジェクトレベル分離を同時に改善。

4. どうやって有効だと検証した？

- 広範な実験を実施し、最先端ベースラインと比較。 - 様々な指標で平均再構成精度が11%向上することを示した。 - Spatial RankGNNの参照ビュー選択精度が73.5%であることを報告。 - インスタンス分離能力が強いことを示す結果を得た。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- MV-DUSt3R、SAM2、Spatial RankGNN。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Langxu Zhao, Zuan Gu, Yingdan Zhang, Pengfei Zhao, Tianhan Gao

分類: cs.CV

原文アブストラクト

With the rising demand to decouple objects from 3D scenes, we propose SAMV-DUSt3R, an end-to-end model that injects SAM2 2D masks into MV-DUSt3R reconstruction. A Cross Flow Mask Block uses these masks to steer the network toward the target instance, jointly improving shape accuracy and achieving object-level disentanglement without multi-stage pipelines. To ensure reconstruction stability, a lightweight Spatial RankGNN selects the optimal reference view with a selection accuracy of 73.5\%. Extensive experiments demonstrate that our method boosts average reconstruction precision by 11\% across various metrics compared to state-of-the-art baselines. These results reveal a strong instance-disentanglement capability and clear benefits for driving, robotics, AR/VR, and heritage digitisation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧