何が起きたか
2026年5月19日、arxiv.orgに掲載された論文で、ロボット用VLMの棄権能力を評価するベンチマーク「RoboAbstention」が発表された。5つのロボットデータセットから収集した画像に基づき、6,069件の指示を生成し、複数の最先端VLMを評価した。その結果、最良のGemini 2.5 Flashでも棄権率は39.0%で、Gemini Robotics ER 1.6 Previewは16.5%だった。
詳細
RoboAbstentionは、ロボット環境における棄権を分類するタクソノミーを導入し、3段階のパイプライン(構造化視覚グラウンディング、決定論的制約導出、カテゴリ別テンプレートによる制御付き指示生成)でデータセットを構築する。評価では、防御的プロンプトと文脈内学習により、Gemini Robotics ER 1.6 Previewの棄権率は93.6%、GPT 5.4 Miniは88.6%に改善した。コードとデータはhttps://purseclab.github.io/RoboAbstention/で公開されている。
Key Facts
| RoboAbstentionは5つのロボットデータセットから収集した画像に基づき、6,069件の指示を生成した。 | [1] |
| 最良のモデルGemini 2.5 Flashの棄権率は39.0%で、Gemini Robotics ER 1.6 Previewは16.5%だった。 | [1] |
| 防御的プロンプトと文脈内学習により、Gemini Robotics ER 1.6 Previewの棄権率は93.6%、GPT 5.4 Miniは88.6%に改善した。 | [1] |
| RoboAbstentionは3段階のパイプライン(構造化視覚グラウンディング、決定論的制約導出、カテゴリ別テンプレートによる制御付き指示生成)でデータセットを構築する。 | [1] |
| RoboAbstentionはhttps://purseclab.github.io/RoboAbstention/でオープンソースとして公開されている。 | [1] |
本紙の見方
今回の研究は、ロボット用VLMの安全性評価に新たな指標を導入した点で意義がある。従来のLLMにおける棄権研究はテキストのみに焦点を当てており、ロボット環境特有の知覚的接地や物理的制約を考慮していなかった。RoboAbstentionは、画像に基づく指示生成により、曖昧さや物理的不可能性を検証可能な形で組み込んでおり、実世界のロボット運用に近い評価を可能にしている。 本紙の過去報道との接続はないが、この研究はロボット用VLMの性能評価が、単なるタスク成功率から「不確実な状況での適切な拒否」へと拡張されつつあることを示す。特に、Gemini Robotics ER 1.6 Previewのような専用プランナーが16.5%しか棄権できないという結果は、現行のVLMが過信傾向にあることを示唆しており、安全性の観点から重大な問題を提起する。 業界構造への含意として、このベンチマークはVLMを搭載したロボットの開発企業にとって、安全性の指標として棄権率を組み込む必要性を浮き彫りにする。また、防御的プロンプトや文脈内学習といった介入が効果的であることは、モデルのアーキテクチャ変更だけでなく、推論時の工夫でも改善可能であることを示しており、コスト効率の高い対策として注目される。 未確定の論点としては、RoboAbstentionの指示が実際のロボットタスクにどの程度対応しているか、また、棄権率の向上がタスク成功率に与える影響が検証されていない点が挙げられる。さらに、評価対象のモデルが限られているため、他のVLMや将来のモデルでの性能推移を確認する必要がある。
なぜ重要か
ロボット用VLMの実用化が進む中、不適切な指示を実行しない「棄権」能力は安全性の根幹に関わる。今回のベンチマークは、現行モデルの棄権能力が不十分であることを定量的に示し、改善手法の有効性も提示した。開発企業は、タスク成功率だけでなく棄権率を指標に加えることで、より安全なロボットシステムの設計が可能になる。