FailBench: VLMはロボットタスクの成功判定をどこまで信頼できるか？

FailBenchは、ロボット操作の失敗検出におけるVision-Language Model (VLM)の性能を評価するためのベンチマークである。2,197件の操作試行を含み、14の公開ソース（12の実世界、2のシミュレーション）から収集されている。失敗の75%は自然に発生したものであり、6つの実世界ソースは失敗検出専用ではないデータセットから来ている。

既存のベンチマークはクロスドメイン汎化の証拠が限定的であるのに対し、FailBenchは多様なソースと自然な失敗を含むことで、より現実的で挑戦的な評価を提供する。また、失敗検出用にファインチューニングされたモデルが汎用VLMや事前学習済みベースラインよりも劣ることを示し、既存の評価方法の限界を明らかにしている。

FailBenchは、14の公開データセットから収集した操作試行を、失敗検出のためのラベル付けを行い、13のVLMベースの検出器を評価する。評価指標としてbalanced accuracyを使用し、視覚的証拠の種類（物体の動き、接触強度など）に基づいて性能を分析する。さらに、入力レベルの介入として、関心領域の空間的局在化とクロッピングを適用し、その効果を検証している。

13のVLMベースの検出器をFailBenchで評価し、最良モデルでも平均balanced accuracyは0.77に留まることを示した。また、失敗検出用にファインチューニングされたモデルは、汎用VLMや事前学習済みベースラインよりも一貫して低い性能を示した。さらに、視覚的証拠の種類による性能差を分析し、接触を伴う組立タスクでは性能が偶然レベル（<0.60）に低下することを明らかにした。入力レベルの介入（関心領域のクロッピング）により、最良の検出器の性能が2.4パーセントポイント向上することを示した。

エラー分析により、VLMは曖昧な証拠の下で成功を予測する系統的なバイアスを持つことが明らかになった。このバイアスは推論努力を増やしても持続する。また、性能が視覚的証拠の種類に強く依存し、接触を伴うタスクでは特に困難であることが示された。入力レベルの介入は有効であるが、追加のトレーニングなしで改善できる範囲は限定的である。

要旨からは、FailBenchで評価されたVLMベースの検出器の具体的なモデル名や、比較された先行研究の詳細は不明である。次に読むべき論文としては、VLMのロボット操作評価への応用に関する一般的な研究や、失敗検出のためのベンチマークに関する研究が考えられる。具体的には、RoboFailやFailure Detection in Robot Manipulationなどの関連研究が挙げられる。