arXiv論文「Pro-Bench」、実世界の視覚グラウンディング評価基盤を提案

何が起きたか

arXivは2026-09-22、論文「Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments」を公開した。論文は、事前に定めたカテゴリ体系に依存せず自然言語で対象を特定するオープン語彙視覚グラウンディングについて、実環境に近い条件で評価する新しいベンチマークを提案している。 Pro-Benchは、地下・産業・屋内・屋外・都市の5領域にまたがる13k超のRGBフレーム、74.5k件の手動インスタンス注釈、515件のターゲットクエリで構成される。論文は16種類のモデル構成をゼロショットで比較し、IoUしきい値ごとの位置特定精度、推論遅延、プロンプトで変わる性能差、対象回復の一貫性を測定した。

詳細

論文によると、Pro-Benchのクエリは、categorical、attributive、relational、affordance、state、part-whole、negative、compositional semantics を含む。評価は strict zero-shot inference で行われ、単一の平均精度だけでなく、書き換えに対する target recovery consistency も確認対象に含めた。 結果として、プロンプト頑健性はアーキテクチャに強く依存し、多くの構成（10/16）は短いカテゴリラベルで最良の性能を示した一方、自由文クエリで最高精度を示したのは1構成にとどまった。さらに、平均mAPが近くても、プロンプトの言い換えに対する対象回復の差は大きくなり得るとされた。

Key Facts

本紙の見方

Pro-Benchの新しさは、オープン語彙視覚グラウンディングを「自然文で対象を指せるか」という能力評価にとどめず、地下・産業・屋内・屋外・都市という異種環境を束ねたうえで、言い換えや自由文、否定表現まで含むクエリ耐性を測っている点にある。既存ベンチマークが短いカテゴリ名とウェブ画像に寄りがちだったという問題意識に対し、13k超の実画像、74.5k件の注釈、515件のクエリを用意したこと自体が、評価対象を「ラベル認識」から「実運用に近い指示理解」へ移す試みだといえる。 本紙の見方では、重要なのは平均mAPそのものより、同程度の平均値でも書き換えで回復率が変わると示した点である。これは、モデル選定の基準を単純な精度比較から、プロンプト設計とアーキテクチャ適性の組み合わせへ広げる必要があることを示す。10/16が短いカテゴリラベルで最良だった一方、自由文で最高精度を出したのが1構成だけだったという結果は、自然言語の柔軟性がそのまま頑健性に結びつかないことを示唆する。 評価軸がIoUしきい値、推論遅延、ターゲット回復の一貫性まで広がっているため、今後は単発の精度指標より、用途ごとにどの失敗モードが許容されるかの整理が焦点になるとみられる。未確定論点としては、このベンチマークが実際のロボット実装でどの程度再現されるか、どのモデル構成が特定の環境やクエリ種別で安定するか、ならびに学習済みモデルへの追加調整なしでの再現性がどこまであるかである。

なぜ重要か

論文が示したのは、同じ平均精度でもプロンプトの言い換えで挙動が変わる可能性があるという点である。ロボットや視覚システムを自然言語で操作・評価する場合、単一指標では運用上の安定性を判断しにくくなる。 発表者である論文著者は、Pro-Benchがそうした差を体系的に測るための基盤になるとしている。

日本への影響

日本のロボティクスや画像認識の研究開発では、工場・屋内・屋外など現場をまたぐ評価設計がより重要になる可能性がある。特に、短いカテゴリラベルに強いモデルと自由文に強いモデルが分かれるなら、現場で使う指示文の設計や検証方法をモデル選定と切り分けて考える必要がある。