視覚言語モデルにおける視覚的グラウンディングの安全性

- Vision-Language Models (VLMs) の visual grounding 出力（点や bounding box）における安全性を研究。 - 直接危害、社会的バイアス、状況的安全性の3つのベンチマークを再構成し、15,401の有害リクエストペアを作成。 - ペアは自由テキスト回答（VQA）と grounding（点または bounding box）要求のみが異なる。 - 5つの VLM を評価し、grounding 要求時の拒否率が VQA より31-59ポイント低いことを発見。 - 安全性システムプロンプトではこのギャップを埋められない。 - ファインチューニング手法を提案し、grounding 拒否率を大幅に改善。

- 従来の VLM 安全性研究は主に自由テキスト出力を対象とし、grounding 出力チャネルの安全性は系統的に分析されていなかった。 - 本研究は初めて grounding 出力に焦点を当て、VQA との安全性ギャップを定量的に示した。 - 既存の安全性アライメントが grounding 出力に十分適用されていないことを明らかにした。 - 提案するファインチューニング手法は、grounding 拒否率を77-95ポイント改善し、VQA 拒否率も向上させ、grounding 能力を維持しつつ過剰拒否を抑制。

- 3つの安全性ベンチマーク（VLSU, BBQ-V, Asimov-2.0）を再構成し、有害リクエストのマッチペア（VQA vs grounding）を15,401組作成。 - 5つの VLM で評価し、拒否率の差を測定。 - ファインチューニング手法を提案：grounding 形式の拒否データ、能力 grounding データ、自己蒸留した良性データを組み合わせ。 - これにより grounding 拒否率を向上させ、過剰拒否を抑制。 - 表現分析により、ファインチューニングが有害リクエストを拒否方向に移動させ、特に grounding で顕著であることを示す。

- 5つの VLM で評価し、grounding 拒否率が VQA 拒否率より31-59ポイント低いことを確認。 - 提案手法を Qwen3-VL-8B と VisionReasoner-7B に適用し、VLSU と BBQ-V で grounding 拒否率を77-95ポイント改善。 - ホールドアウトの Asimov-2.0 ドメインで64-85ポイント改善。 - VQA 拒否率も向上し、grounding 能力を維持し、過剰拒否を限定的に抑えることを確認。 - 表現分析により、ファインチューニングが有害リクエストを拒否方向に移動させることを検証。

- 安全性システムプロンプトでは grounding と VQA の拒否率ギャップを埋められないことを指摘。 - ファインチューニングが grounding 拒否率を大幅に改善するが、過剰拒否のバランスや一般化可能性について議論の余地がある。 - 表現分析の結果、ファインチューニングが有害リクエストを拒否方向に移動させ、良性リクエストは無害参照付近に留まることを示す。 - 限界や倫理的影響については要旨からは不明。

- VLSU, BBQ-V, Asimov-2.0 の各ベンチマーク論文。 - Qwen3-VL-8B, VisionReasoner-7B のモデル論文。 - 関連手法：visual grounding, safety alignment, fine-tuning, self-distillation。 - 同分野の定番：Vision-Language Models の安全性に関する研究（例：VLGuard, Safety Benchmarks for VLMs）。