Pro-Bench: 実世界の異種環境におけるプロンプト頑健なオープンボキャブラリ視覚グラウンディングのベンチマーク

- 実世界の異種環境における open-vocabulary visual grounding のための prompt-conditioned benchmark である Pro-Bench を提案。 - 地下、産業、屋内、屋外、都市の独立したロボティクス領域から 13k+ の RGB フレーム、74.5k の手動 instance アノテーション、515 の target query を含む。 - query は categorical, attributive, relational, affordance, state, part-whole, negative, compositional semantics をカバー。 - 16 の open-vocabulary モデル構成を strict zero-shot 推論で評価し、IoU 閾値ごとの localisation 精度、end-to-end 推論遅延、prompt による性能変動、target recovery 一貫性を測定。

- 既存 benchmark は短いカテゴリラベルと web-scraped 画像に大きく依存しており、実展開下での多様な query や視覚条件への頑健性が不明であった。 - Pro-Bench は実世界の異種ロボティクス領域から収集した RGB フレームと手動アノテーションを用い、多様な意味論的 query を網羅。 - prompt 条件付きで zero-shot 推論を評価し、prompt 頑健性や target recovery 一貫性を体系的に測定する点が新しい。

- 独立したロボティクス領域（subterranean, industrial, indoor, outdoor, urban）から RGB フレームを収集し、手動で instance アノテーションを付与。 - 515 の target query を categorical, attributive, relational, affordance, state, part-whole, negative, compositional semantics の観点で設計。 - 16 の open-vocabulary モデル構成を strict zero-shot で評価し、IoU 閾値ごとの localisation 精度、end-to-end 推論遅延、prompt による性能変動、target recovery 一貫性を指標化。

- 16 の open-vocabulary モデル構成を strict zero-shot 推論でベンチマーク。 - IoU 閾値ごとの localisation 精度、end-to-end 推論遅延、prompt による性能変動、target recovery 一貫性を測定。 - 結果として、prompt 頑健性はアーキテクチャに強く依存し、10/16 のモデル構成が短いカテゴリラベルで最高性能、free-form query で最高精度は 1 つのみ。 - 同様の aggregate mAP でも reformulation 間の一貫した target recovery に大きな差が隠れうることを示した。

- prompt 頑健性がアーキテクチャ依存であること、短いカテゴリラベルが多くのモデルで最良であること、free-form query が最良となるモデルは稀であることを指摘。 - aggregate mAP が reformulation 間の一貫した target recovery の差異を隠蔽しうることを議論。 - Pro-Bench がこれらのギャップの体系的評価と prompt-robust visual grounding の支援を可能にする。 - 具体的な限界や今後の課題については要旨からは不明。

- 要旨で参照/比較されている個別研究は明示されていない。 - 同分野の定番として open-vocabulary visual grounding の代表的手法（例: GLIP, Grounding DINO, OWL-ViT など）や、ロボティクス向け visual grounding benchmark を次に読む候補として挙げる。 - ただし要旨に具体的な論文名の記載はないため、これらは一般名としての提案である。