セグメンテーション2026/8/15arXiv:2608.15295

SOS！：モデルフリーセグメンテーションのための合理化されたオブジェクト条件付きトランスフォーマー

SOS! : A Streamlined Object-Conditional Transformer for Model-free Segmentation

3Dモデルを必要とせず、参照画像1枚だけで未知物体を正確にセグメンテーションする新しい手法を提案。オブジェクト条件付きトランスフォーマーにより、マスク生成と対象特定を単一のフィードフォワードで統合し、効率と精度を両立した。

詳しい要約

1. どんなもの？

SOSは、参照画像1枚のみを用いて、未学習の特定対象物体をセグメンテーションするモデルフリー手法を提案する。3Dモデル事前知識を必要とせず、Object-Conditional Transformerによりマスク生成と対象識別を単一のフィードフォワード処理に統合する。

2. 先行研究と比べてどこがすごい？

既存のFoundation segmentation modelsは高品質なクラス非依存マスクを生成できるが、特定対象との関連付けが困難で、ロボット操作などの応用に支障があった。従来の解決策は3D物体モデルの事前知識に依存し、計算コストが高く多段階パイプラインが複雑だった。SOSは3Dモデルへの依存を完全に排除し、単一の参照画像のみで動作する点が革新的。

3. 技術・手法の肝は？

中心となるのはObject-Conditional Transformerで、identity-anchored queriesを学習する。これにより、マスク生成と対象識別を単一のフィードフォワードパスに統合し、構造的・計算的効率を大幅に改善する。

4. どうやって有効だと検証した？

複数のベンチマークで広範な評価を実施し、モデルフリーの未学習物体セグメンテーションにおいて新しい最先端を達成した。正確さと高効率の両方を実証している。

5. 議論はある？

要旨からは、3Dモデルを使わないことによる精度の限界や、参照画像の品質への依存性などについての議論は不明。また、実世界のロボット操作への応用における汎化性能についての詳細も不明。

6. 次に読むべき論文は？

要旨で参照されているFoundation segmentation models（例：SAM）や、既存の3Dモデル事前知識を用いたセグメンテーション手法、およびモデルフリーセグメンテーションの関連研究を読むことが推奨される。具体的な論文名は要旨にないため、同分野の定番として「Segment Anything」や「One-Shot Segmentation」関連の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaqi Hu, Junwen Huang, Hongli Xu, Peter KT Yu, Nassir Navab, Benjamin Busam, Slobodan Ilic

分類: cs.CV

原文アブストラクト

Foundation segmentation models excel at generating high-quality, class-agnostic masks, but they struggle to associate these proposals with specific target objects. This semantic gap severely hinders their deployment in downstream applications like robotic manipulation, which demand precise unseen objects segmentation. Existing approaches attempt to resolve this by relying on exhaustive 3D object model priors, inherently introducing prohibitive computational overhead and complex, multi-stage pipelines. To address these limitations, we propose SOS (Streamlined Object-conditional Transformer for model-free Segmentation). SOS completely eliminates the reliance on 3D models, requiring only a single reference image per target object. Central to our framework is a novel Object-Conditional Transformer that learns identity-anchored queries, unifying mask generation and target identification into a single feed-forward pass. This streamlined design drastically improves both structural and computational efficiency. Extensive evaluations across multiple benchmarks demonstrate that SOS establishes a new state-of-the-art for model-free unseen objects segmentation, delivering accurate and high-efficiency performance. The project page and code are available at https://sos-seg.github.io/.

arXivで原文を読む →arXiv概要ページ