セグメンテーション2026/9/3arXiv:2609.03680v1

DropClick: 農業ロボットデータのための半自動ワンクリックセグメンテーション

DropClick: Semi-Automated One-Click Segmentation for Agricultural Robotic Data

農業ロボットのセグメンテーションデータセットのアノテーションを簡略化するため、単一クリックで疑似ラベルを生成する半自動ツールDropClickを提案し、少ないクリック数で高い性能を達成した。

詳しい要約

1. どんなもの？

DropClickは、農業ロボティクス向けのセグメンテーションデータセットのアノテーションを簡素化する、クリック誘導型の半自動セグメンテーションツールである。ユーザーはオブジェクト上に単一クリックを入力するだけで、疑似ラベルが生成され、手動アノテーションの代わりとなる。シーン内のすべてのオブジェクトにクリックを必要としないため、ユーザー入力を大幅に削減できる。

2. 先行研究と比べてどこがすごい？

従来のone-clickセグメンテーション手法は、通常、シーン内の各オブジェクトにクリックが必要である。DropClickは半自動アプローチであり、すべてのオブジェクトにクリックを必要としない点で優れている。また、わずか5枚の画像でトレーニングされ、クリックが欠落した場合でも高い性能を維持する。

3. 技術・手法の肝は？

DropClickは、少数の画像（5枚）でトレーニングされたモデルを使用し、単一クリックを入力として疑似ラベルを生成する。このモデルは、クリックが与えられない場合でも動作するように設計されており、クリックが欠落した場合の性能低下を抑える。さらに、疑似ラベルを生成して、Mask2Formerなどのインスタンスセグメンテーションモデルを半教師ありでトレーニングするために使用される。

4. どうやって有効だと検証した？

農業ロボティクスの2つのデータセット（SB20とBUP20）で評価された。SB20ではmIoU 70.0、BUP20では72.6を達成し、他のone-click手法と同等以上の性能を示した。クリックが50%欠落した場合でも、SB20で68.9、BUP20で71.3のmIoUを維持した。疑似ラベルとして使用した場合、Mask2Formerのトレーニングで、クリックを全て与えた場合と比較して、SB20ではAP50 70.1 vs 70.7、BUP20では77.0で差がなく、入力の46.3%（SB20）と31.9%（BUP20）を節約した。

5. 議論はある？

要旨からは、DropClickの限界や潜在的な問題についての議論は不明である。ただし、クリックが欠落した場合の性能維持は、ユーザー入力の信頼性が低いシナリオでの実用性を示唆している。また、疑似ラベル生成の品質が最終的なモデル性能に与える影響や、他のデータセットへの一般化については要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されているMask2Former、およびone-clickセグメンテーション手法（具体的な名称は不明）が関連する。また、半教師あり学習や疑似ラベルを用いたセグメンテーションの研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Patrick Zimmer, Michael Halstead, Chris McCool

分類: cs.CV, cs.RO

原文アブストラクト

Labelling vision datasets, especially for segmentation tasks, is a laborious and costly process that stymies novel developments in agricultural robotics. In this paper, we present DropClick, a click-guided segmentation tool that simplifies the annotation process. Our system utilises single-click inputs on objects to generate pseudo-labels, which can replace manual annotations. DropClick stands out as it is a semi-automated approach and does not require a click for every object in the scene. It can therefore further reduce the required amount of user input drastically. We evaluate our method on two challenging agricultural robotic datasets, SB20 and BUP20 for plant and fruit segmentation, respectively. DropClick is first trained on a small subset of just 5 images from the original training data. This DropClick model can then be deployed as a one-click segmentation system and achieves comparable or higher performance than other one-click methods achieving an mIoU of 70.0 and 72.6 points, for SB20 and BUP20 respectively. DropClick then excels at maintaining high performance when clicks are not given (e.g. dropped); when 50% of the clicks are missing it still maintains an mIoU of 68.9 and 71.3 points, for SB20 and BUP20 respectively. We validate DropClick as a pseudo-labelling approach by taking its outputs to train a Mask2Former instance-based segmentation model in a semi-supervised manner. In this process, partially removing user input from DropClick yields similar high performance when compared to providing all clicks, at 70.1 vs 70.7 points AP50 for SB20 and no difference for BUP20 at 77.0 for both models; at the same time saving 46.3% of total input for SB20 and 31.9% for BUP20.

arXivで原文を読む →arXiv概要ページ