農業ロボティクス2026/8/23arXiv:2608.24935

商業果樹園における初期段階の解剖学的青果物分類のための軽量マルチモーダル視覚言語フレームワーク

A Lightweight Multimodal Vision-Language Framework for Early-Stage Anatomical Green Fruit Classification in Commercial Orchards

シェア:X Threads Facebook LINE はてブ Bluesky

商業果樹園で初期段階のリンゴ果実の解剖学的構造（がく片、果実本体、果梗）を分類する軽量な視覚言語モデルを提案し、スライディングウィンドウ推論でヒートマップを生成してロボット間引きに活用する。

詳しい要約

1. どんなもの？

本研究は、商業果樹園における初期段階のリンゴ果実（fruitlet）の解剖学的構造（がく片、果実本体、果梗）を分類するための軽量なマルチモーダル視覚言語フレームワークを提案する。TinyCLIPを適応し、ドメイン特化の言語プロンプトを用いて画像とテキストのアライメントを行い、スライディングウィンドウ推論で空間ヒートマップを生成する。エッジデバイス（NVIDIA Jetson）での展開を目指し、ONNX/TensorRTによる最適化とINT8量子化を検証している。

2. 先行研究と比べてどこがすごい？

従来の手法は、重い視覚モデルや単一画像の分類に依存し、エッジ展開や解釈可能性が不足していた。本研究は、軽量なVision-Language Model（VLM）を果実の微細な解剖学的分類に適用し、スライディングウィンドウによる空間的局所化を可能にした点が新しい。また、TinyCLIPを利用することで、モデルサイズを約127-137MBに抑えつつ、高いF1スコアを達成し、実用的な展開可能性を示した。

3. 技術・手法の肝は？

手法の核は、TinyCLIPを用いたマルチモーダルアライメントと、スライディングウィンドウ推論戦略である。具体的には、600枚の高解像度RGB画像を224x224パッチに分割し、3クラス（calyx, fruitlet, peduncle）をアノテーションする。言語プロンプト（例：「a photo of a class」）を用いて画像とテキストの埋め込みを整合させる。推論時には、ストライド112ピクセルのスライディングウィンドウでパッチごとの予測を行い、空間ヒートマップを生成する。さらに、ONNXとTensorRTによる最適化とINT8量子化でエッジ展開を実現する。

4. どうやって有効だと検証した？

NVIDIA T4 GPU上でパッチレベルの評価を行い、calyxでF1=0.95、fruitletで0.98、peduncleで0.85、マクロF1=0.93を達成した。また、NVIDIA Jetsonハードウェア上でONNX/TensorRTによる最適化とINT8量子化を行い、精度を維持しつつミリ秒レベルの推論時間を確認した。モデルサイズは約127-137MBである。

5. 議論はある？

要旨からは、peduncleのF1が他より低いこと（0.85）が課題として考えられるが、その原因や改善策については言及されていない。また、データセットがScilateとScifreshの2品種に限定されており、他の品種や環境での汎用性は不明である。さらに、スライディングウィンドウのストライドやパッチサイズの影響、ヒートマップの定量的評価についても要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されているTinyCLIPの元論文、およびVision-Language Modelの一般的な手法（例：CLIP）を読むことが推奨される。また、関連する果実検出やロボティック間引きの研究も参考になる。具体的には、TinyCLIPの論文と、CLIPの元論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ranjan Sapkota, William Bu, Chen Chen, Yunjun Xu, Manoj Karkee

分類: cs.CV, cs.AI

原文アブストラクト

Accurate identification of early-stage apple fruitlet anatomical structures, including the calyx, fruitlet body, and peduncle, is essential for robotic thinning, crop-load management, and other precision orchard operations. This study presents a lightweight multimodal vision-language framework that adapts TinyCLIP for fine-grained fruitlet anatomy classification in complex orchard environments. A dataset of 600 high-resolution RGB images collected from Scilate and Scifresh apple orchards was converted into 224 x 224 image patches and annotated for three anatomical classes. Domain-specific language prompts, such as ``a photo of a class,'' were used to guide multimodal alignment between orchard imagery and horticultural structures. A sliding-window inference strategy with a stride of 112 pixels aggregates patch-level predictions into spatial heatmaps, enabling interpretable whole-image localization of fruitlet components relevant to robotic thinning. Patch-level evaluation on an NVIDIA T4 GPU achieved F1-scores of 0.95 for calyx, 0.98 for fruitlet, and 0.85 for peduncle, with a macro-F1 score of 0.93. Deployment-oriented optimization using ONNX and TensorRT enabled efficient inference on NVIDIA Jetson hardware, preserved accuracy under INT8 quantization, and supported model sizes of approximately 127-137 MB with millisecond-level patch inference. These results demonstrate that lightweight vision-language models can provide interpretable and edge-deployable perception for automated fruitlet analysis and future robotic thinning systems. The source code and implementation details are publicly available at https://github.com/WilliamBu1/A-Lightweight-Vision-Language-Model-for-Early-Stage-Fruitlet-Classification-in-Apple-Orchards.

arXivで原文を読む →arXiv概要ページ