安全性評価2026/8/22arXiv:2608.21928

GuardianBench：身体化AIにおける潜在的な文脈リスクのための同一シーン指示対比ベンチマーク

GuardianBench: A Same-Scene Instruction-Contrastive Benchmark for Latent Contextual Risk in Embodied AI

同一シーンで指示だけを変えた安全/不安全の対比ペアからなるベンチマークを構築し、VLMが指示に鈍感で安全判断を誤ることを示し、軽量な事後学習手法で改善を実証した。

詳しい要約

1. どんなもの？

GuardianBenchは、具現化AI（Embodied AI）における潜在的な文脈リスク（latent contextual risk）を評価するためのベンチマークである。具体的には、シーンを固定し、指示（instruction）のみを変化させた同一シーン対照ペア（same-scene Safe/Unsafe contrastive pairs）を用いて、安全な指示と安全なシーンが組み合わさることで危険になるケースを検出する。3,024の指示-シーン例から構成され、国際安全基準に基づいて設計されている。

2. 先行研究と比べてどこがすごい？

先行研究は視覚的文脈の変化や実行時ダイナミクスの評価に焦点を当てていたが、シーンを固定して指示のみを変化させる軸は未開拓だった。GuardianBenchはこの補完的な軸を導入し、潜在的な文脈リスクを分離して評価する点が新しい。また、安全基準に基づく対照ペアの構築により、指示に対する感度を体系的に測定できる。

3. 技術・手法の肝は？

手法の肝は、国際安全基準に基づいて同一シーン内でSafe/Unsafeの指示対を作成し、3,024の指示-シーン例を構成した点。さらに、VLMの判断が指示に鈍感であることを明らかにし、その失敗原因をrationale audit（理由の監査）で特定する。また、軽量なverdict-level目的関数であるVerdict Log-Odds Supervision (VLOS)を提案し、オープンウェイトモデルの性能を改善する。

4. どうやって有効だと検証した？

最先端のvision-language models (VLMs)をベンチマークし、平均ペア精度が24.1%と低いことを示した。さらに、rationale auditにより、モデルが指示関連の手がかりを適切に結合できないことを特定。VLOSを適用したケーススタディでは、オープンウェイトバックボーンで性能が大幅に向上した。

5. 議論はある？

議論として、モデルが指示に対して鈍感であることが明らかになり、安全推論の改善が必要であることが示唆される。また、ベンチマークの設計が潜在リスクの評価に有効である一方、実世界の複雑なシーンへの一般化や、より多様な指示カテゴリの追加が今後の課題と考えられる。要旨からは、VLOSの汎用性や他のモデルへの適用可能性についての詳細は不明。

6. 次に読むべき論文は？

要旨で参照されている先行研究は、視覚的文脈を変える研究や実行時ダイナミクスを評価する研究である。具体的な論文名は不明だが、同分野の定番として、具現化AIの安全性に関するベンチマーク（例：SafetyBench）や、VLMの推論能力を評価する研究（例：Visual Question Answering）が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhesheng Zhang, Jiahao Lu, Wei Liu, Cong Pan, Jianhua Yang, Yixiang Chen, Hongyuan Yu, Mengqi Zhang, Kailin Lyu, Zhumin Chen, Keji He

分類: cs.AI, cs.CL, cs.RO

原文アブストラクト

In embodied AI, safety risk can be latent: a benign instruction and a safe scene become hazardous only when composed. Prior work has advanced embodied safety by varying visual contexts or evaluating execution-time dynamics, but the complementary axis of fixing the scene and varying only the instruction remains underexplored. We introduce GuardianBench, an instruction-contrastive benchmark grounded in international safety standards that isolates this latent contextual risk through 3,024 instruction-scene examples organized as same-scene Safe/Unsafe contrastive pairs across various hazard categories. Benchmarking state-of-the-art vision-language models (VLMs) reveals instruction-insensitive verdicts: models disproportionately approve both instructions under a given scene; across the primary models, average pair accuracy is only 24.1%. Our systematic rationale audit localizes the dominant failure: models fail to bind the instruction-relevant cues that differentiate safe from unsafe compositions. As a post-training case study, Verdict Log-Odds Supervision (VLOS), a lightweight verdict-level objective, substantially improves performance on open-weight backbones. Together, our latent contextual risk task formulation, standards-grounded contrastive benchmark construction, pair-level and rationale-level failure diagnosis, and benchmark-enabled verdict calibration establish GuardianBench as a controlled evaluation suite for exposing and improving safety reasoning over instruction-scene compositions under latent contextual risk.

arXivで原文を読む →arXiv概要ページ