GuardianBench、同一シーンで指示文だけを変える安全評価ベンチマークを公開 平均ペア精度は24.1%

何が起きたか

エンボディAIの安全性評価を目的としたベンチマーク「GuardianBench」が、2026年8月22日にarXivで公開された。同ベンチマークは、同一シーンで指示文だけを変える「指示対照」方式を採用し、3,024件の指示・シーン例をSafe/Unsafeの対照ペアとして構成する。最先端の視覚言語モデル（VLM）を評価した結果、平均ペア精度は24.1%にとどまり、モデルが指示文の違いに鈍感であることが示された。

詳細

GuardianBenchは、国際安全規格に基づき、潜在的な文脈リスクを隔離するために設計された。同一シーンで指示文だけを変える「指示対照」方式を採用し、3,024件の指示・シーン例をSafe/Unsafeの対照ペアとして構成する。評価の結果、主要モデルでは平均ペア精度が24.1%であり、モデルが指示文の違いに鈍感であることが示された。さらに、系統的な根拠監査により、モデルが安全な構成と危険な構成を区別する指示関連の手がかりを結び付けられないことが主な失敗原因と特定された。事後学習のケーススタディとして、軽量な判定レベルの目的関数「Verdict Log-Odds Supervision (VLOS)」が、オープンウェイトのバックボーンで性能を大幅に改善した。

Key Facts

本紙の見方

GuardianBenchの特徴は、従来の安全性評価が視覚的文脈や実行時ダイナミクスを変化させることに焦点を当てていたのに対し、シーンを固定し指示文のみを変化させる点にある。これにより、良性の指示と安全なシーンが組み合わさったときに初めて顕在化する「潜在的な文脈リスク」を隔離して評価できる。この設計は、エンボディAIの安全性を考える上で、指示文の解釈がシーンとの相互作用でどう変わるかを精緻に測定することを可能にする。 評価結果の平均ペア精度24.1%という数字は、最先端のVLMが同一シーンでの指示文の違いをほとんど区別できていないことを示す。これは、モデルがシーンの視覚情報に過度に依存し、指示文の意味的な差異を軽視している可能性を示唆する。根拠監査が「指示関連の手がかりを結び付けられない」ことを主因と特定した点は、この解釈を支持する。 VLOSの有効性は、軽量な判定レベルの目的関数が、オープンウェイトのバックボーンで性能を大幅に改善した点にある。これは、大規模な再学習を必要とせずに安全性推論を改善できる可能性を示しており、実用上の価値が高い。ただし、VLOSが具体的にどの程度の改善をもたらしたのか、また他のモデルやタスクでの汎用性は不明である。 業界構造への含意として、このベンチマークはエンボディAIの安全性評価の標準化に寄与する可能性がある。特に、国際安全規格に基づく対照ペアの構成は、規制対応や安全性認証の基盤となり得る。一方で、評価対象がVLMに限定されており、実際のロボット制御や物理的実行を含むエンボディAI全体の安全性をカバーしているわけではない。 未確定の論点として、VLOSの具体的な改善率、他のモデルアーキテクチャでの有効性、実ロボットへの適用時の安全性向上効果などが挙げられる。また、ベンチマーク自体の妥当性（国際安全規格の解釈や対照ペアの設計バイアス）も検証が必要である。

なぜ重要か

GuardianBenchは、エンボディAIの安全性評価において、指示文とシーンの相互作用に起因する潜在的なリスクを体系的に評価する枠組みを提供する。平均ペア精度24.1%という結果は、現在のVLMがこの種のリスクに対して脆弱であることを示しており、安全性向上のための具体的な指標となる。