日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
農業ロボティクスarXiv:2609.19592

ロボット収穫のための選択的ワタボール位置推定：圃場条件下での深層学習視覚モデル評価

Selective Cotton Boll Localization for Robotic Harvesting: Evaluation of Deep Learning Vision Models Under Field Conditions

シェア:XThreadsFacebookLINEはてブBluesky

圃場で撮影したワタの画像データセットを用い、YOLO系やSAM系の深層学習モデルによるワタボールの検出・セグメンテーション性能を比較評価した。

詳しい要約

1. どんなもの？

- 選択的ロボット綿花収穫のための深層学習ベースの知覚フレームワークを開発・評価した研究。 - 1,008枚の圃場画像データセット（3カメラ、自然光・天候条件変動）を使用。 - YOLOv8〜YOLOv13ファミリーの物体検出モデルと、YOLOv8-seg、YOLOv11-seg、YOLOv12-seg、SAM、SAMv2.1、FastSAM、Grounded-SAM with RAMのセグメンテーションモデルを評価。 - 検出ではGELAN-sがmAP 86.1%、精度81.6%、再現率76.6%、F1 79.0%、推論時間42.3 ms/画像で最良のバランス。 - 直接セグメンテーションではYOLOv12-m-segがAP@0.5 83.7%、推論時間20.4 ms/画像で最良のバランス。 - 検出プロンプトセグメンテーションではGELAN-sのバウンディングボックスプロンプトがSAMとSAMv2.1の位置特定を改善し、SAMv2.1 TinyがFastSAMとGrounded-SAM with RAMを一貫して上回った。 - 手動アノテーションセグメンテーションマスクとの面積ベー…

2. 先行研究と比べてどこがすごい？

- 先行研究との具体的な比較は要旨からは不明。 - ただし、YOLOv8からYOLOv13までの広範な検出モデルと、SAM、SAMv2.1、FastSAM、Grounded-SAM with RAMなどのセグメンテーションモデルを同一データセットで評価した点が特徴。 - 検出プロンプトセグメンテーションのアプローチを評価し、GELAN-s + SAMv2.1 Tinyの組み合わせを検討。 - 圃場条件下でのロボット収穫実験まで実施した点が先行研究と比べて優れている可能性があるが、要旨からは不明。

3. 技術・手法の肝は？

- 深層学習ベースの知覚フレームワーク。 - 物体検出モデル：YOLOv8〜YOLOv13ファミリー（デフォルト設定）。 - セグメンテーションモデル：YOLOv8-seg、YOLOv11-seg、YOLOv12-seg、SAM、SAMv2.1、FastSAM、Grounded-SAM with RAM。 - 検出プロンプトセグメンテーション：GELAN-sが生成したバウンディングボックスプロンプトをSAMやSAMv2.1に与えて綿花ボールの位置特定を改善。 - 評価指標：mAP、精度、再現率、F1スコア、推論時間、AP@0.5、FPS、R²。 - 圃場実験：UR5eロボットマニピュレータ、カスタムエンドエフェクタ、ZED2iステレオカメラを使用。

4. どうやって有効だと検証した？

- 1,008枚のアノテーション付き圃場画像データセット（3カメラ、自然光・天候条件変動）で評価。 - 検出モデルの評価：mAP、精度、再現率、F1スコア、推論時間。 - セグメンテーションモデルの評価：AP@0.5、FPS、推論時間。 - 手動アノテーションセグメンテーションマスクとの面積ベース評価：R²値。 - 圃場実験：UR5eロボットマニピュレータ、カスタムエンドエフェクタ、ZED2iステレオカメラを用いて、YOLOv12-m-segのリアルタイム検出・セグメンテーション・選択的収穫を検証。 - 信頼度レベルを変化させて評価。

5. 議論はある？

- 要旨からは不明。 - 結果としてYOLOv12-m-segが効率的な知覚モデルを提供し、圃場展開の強い可能性を示すと結論。 - 限界や課題についての議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：YOLOv8、YOLOv11、YOLOv12、YOLOv13、GELAN-s、SAM、SAMv2.1、FastSAM、Grounded-SAM with RAM。 - 関連手法：UR5eロボットマニピュレータ、ZED2iステレオカメラ。 - 同分野の定番：ロボット収穫のための物体検出・セグメンテーションに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Thevathayarajh Thayananthan, Xin Zhang, Isuru Laddusinghe Badu, Jonathan Harjono, Glen C. Rains, Beiwen Li, Leonardo M. Bastos, Nuwan K. Wijewardane, Vitor S. Martins

分類: cs.CV, cs.RO

原文アブストラクト

This study developed and evaluated a deep-learning-based perception framework for selective robotic cotton picking. The dataset contained 1,008 annotated field images collected using three cameras under varying natural lighting and weather conditions. Object-detection models from the YOLOv8 through YOLOv13 families were evaluated using their default configurations, while segmentation performance was assessed using YOLOv8-seg, YOLOv11-seg, YOLOv12-seg, the Segment Anything Model (SAM), SAMv2.1, FastSAM, and Grounded-SAM with the Recognize Anything Model (RAM). Among the detection models, GELAN-s achieved the most favorable balance between mean average precision (mAP) and inference speed, obtaining an mAP of 86.1%, precision of 81.6%, recall of 76.6%, and an F1-score of 79.0%, with an average inference time of 42.3 ms per image. Among the direct segmentation models, YOLOv12-m-seg provided the most favorable balance between AP@0.5 and FPS, achieving a segmentation AP@0.5 of 83.7% with an inference time of 20.4 ms per image. In the detection-prompted segmentation approach, bounding-box prompts generated by GELAN-s improved the localization of cotton bolls for SAM and SAMv2.1, while SAMv2.1 Tiny consistently outperformed FastSAM and Grounded-SAM with RAM. In the area-based evaluation against manually annotated segmentation masks, YOLOv12-m-seg achieved an $R^2$ value of 0.966, compared with 0.860 for GELAN-s + SAMv2.1 Tiny. Field experiments conducted using a UR5e robotic manipulator, a custom end-effector, and a ZED2i stereo camera further validated the effectiveness of the YOLOv12-m-seg model for real-time cotton boll detection, segmentation, and selective picking under varying confidence levels. These results demonstrate that YOLOv12-m-seg provides an efficient perception model for robotic cotton harvesting and has strong potential for field deployment.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI