セグメンテーション2026/11/11arXiv:2611.15216

私のマグカップはどこ？個人化画像セグメンテーションのための学習不要フレームワーク

Where is My Mug? Training-Free Framework for Personalized Image Segmentation

ユーザー指定の物体を複数の類似物体の中から見分けてセグメントする個人化画像セグメンテーションの手法を提案し、既存手法の弱点である再現率のボトルネックを学習不要のモジュール型パイプラインで解決した。

詳しい要約

1. どんなもの？

- Personalized Image Segmentation (PIS) のためのタスク - ユーザが与えた reference に一致する特定物体を target image 内で segment する - category-based segmentation や few-shot segmentation と異なり、視覚的に類似した複数 instance の識別が必要 - 応用先 - augmented reality、personalized content editing、robotics manipulation、inventory tracking、fine-grained visual retrieval - 提案するもの - training-free で modular な PIS システム - 実世界の multi-instance 場面を評価する新 benchmark datasetname も導入

2. 先行研究と比べてどこがすごい？

- 既存 PIS 手法の高い数値は single-instance benchmark の産物であると指摘 - 同カテゴリの look-alike が複数ある現実的 scene では prior point-prompt 手法が崩壊 - 正しい instance が prompt として出てこないことが原因 - 問題の所在を mask-quality ではなく recall bottleneck と特定 - 提案手法は PerSAM、P^2SAM、PDM を最大約 48 mIoU 上回る - 同等の runtime、より少ない parameter で達成 - training-free で deploy 可能な強い baseline を提示

3. 技術・手法の肝は？

- training-free で modular な pipeline - off-the-shelf の class-agnostic detector で high-recall な object proposals を生成 - 各 proposal を foundation-model features (例: BLIP-2) で reference と照合 - 選ばれた box を SAM で refine - 頑健な照合のため top-K Sinkhorn を提案 - patch-level distance で、各 candidate を最も確信度の高い patch のみで scoring - Sinkhorn dual potentials を trimming し、partial optimal transport の頑健性を 100 倍以上低コストで実現 - per-proposal candidate loop 内に収まる計算量

4. どうやって有効だと検証した？

- 新 benchmark datasetname を導入し評価 - 現実的な multi-instance scene を対象 - 評価 dataset - datasetname、PerSeg、PerMIS、DAVIS - 比較手法 - PerSAM、P^2SAM、PDM - 結果 - 最大約 48 mIoU 上回る - runtime は同等、parameter はより少ない

5. 議論はある？

- 既存 PIS の評価設定への批判 - single-instance benchmark が実力を過大評価している可能性 - multi-instance 場面では point-prompt 手法が recall bottleneck に陥る - 提案手法の位置づけ - mask 品質ではなく proposal recall の改善が本質 - training-free で実運用可能な baseline を提供 - 個別の限界や failure case の詳細は要旨からは不明

6. 次に読むべき論文は？

- PerSAM - P^2SAM - PDM - SAM (Segment Anything Model) - BLIP-2 - partial optimal transport / Sinkhorn - PerSeg、PerMIS、DAVIS の各 benchmark

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quang Qui-Vinh Nguyen, Hung Nguyen, Rang Nguyen, Khoi Nguyen

分類: cs.CV, cs.AI

原文アブストラクト

\textbf{Personalized Image Segmentation (PIS)} aims to segment the specific object in a target image that matches a user-provided reference. Unlike category-based segmentation or few-shot segmentation, PIS must discriminate between multiple visually similar instances, a requirement central to deployed applications such as augmented reality, personalized content editing, robotics manipulation, inventory tracking, and fine-grained visual retrieval. We show that the strong numbers reported by existing PIS methods are largely an artifact of single-instance benchmarks: when evaluated on realistic scenes with several same-category look-alikes, prior point-prompt methods collapse, because the correct instance is frequently never surfaced as a prompt. We trace this to a recall bottleneck rather than a mask-quality one, and address it with a training-free, modular system. The pipeline first generates high-recall object proposals using an off-the-shelf class-agnostic detector, then matches each proposal to the reference using foundation-model features (e.g., BLIP-2), and finally refines the selected box with SAM. For robust matching we propose \textbf{top-$K$ Sinkhorn}, a patch-level distance that scores each candidate only on its most confidently matched patches; trimming the Sinkhorn dual potentials recovers the robustness of partial optimal transport at more than $100\times$ lower cost, keeping it inside the per-proposal candidate loop. To evaluate this regime, we introduce \textbf{\datasetname}, a realistic multi-instance benchmark. Across \datasetname, PerSeg, PerMIS, and DAVIS, our system surpasses PerSAM, $\mathrm{P}^2\mathrm{SAM}$, and PDM by up to $\sim\!48$ mIoU while matching their runtime and using fewer parameters, establishing a strong, deployable training-free baseline for real-world personalized segmentation.

arXivで原文を読む →arXiv概要ページ

私のマグカップはどこ？個人化画像セグメンテーションのための学習不要フレームワーク

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事