視覚的証拠が不十分なとき：マルチモーダル言語モデルの拒否を形作る指示・事後学習・内部活性化

- 対象は MLLMs（multimodal large language models）における「視覚的に答えられない質問への refusal（回答拒否）」 - 画像が十分な evidence を提供しない場合に、根拠のない回答を控える能力を扱う - refusal が evidence 認識によるものか、無関係な safety 制約や evidence 未同定によるものかを区別しようとする研究 - 制御源として inference-time instructions、post-training、internal activation interventions の3つを検討 - 3つの MLLMs と MoHoBench benchmark を用いて系統的に操作・比較する

- 従来は refusal 率などの集約指標で評価されがちだが、本研究は sample レベルでのモデル固有の変化を可視化 - refusal を単一の安全機構ではなく、instruction・post-training・内部表現の複合として捉える枠組みを提示 - evidence-aware instruction と general refusal instruction を意図的に不一致な safety instruction と比較 - supervised と preference-based の post-training を比較し、refusal 言語と回答試行が混在する現象を指摘 - activation intervention が prompt 条件をまたいで転移しつつ、答えられる sample で無差別 refusal を示さない点を報告

- MoHoBench 上で視覚的に答えられない質問に対する refusal を測定 - inference-time instructions の意味（evidence-aware / general refusal / 不一致な safety）と配置を操作 - supervised post-training と preference-based post-training を比較 - 自然に回答された例と拒否された例から refusal-related activation direction を導出し、internal activation に介入 - 集約 refusal 率に加え sample レベルの変化を分析

- 3つの MLLMs を MoHoBench benchmark で評価 - instruction の意味・配置の操作に対する refusal の感度を比較 - post-training 前後および activation intervention の効果を refusal 率と sample レベルで検証 - activation intervention については、テストした視覚的に答えられる sample で無差別 refusal が見られないことを確認 - ただし具体的なモデル名・数値・評価指標の詳細は要旨からは不明

- refusal は外部 instruction、post-training、内部表現の三者によって共同的に形成される - 集約 refusal 率だけでは sample レベルのモデル固有変化が見えにくい - post-training は refusal を大きく増やすが、refusal 言語と回答試行が混在する応答を誘発しうる - activation intervention は効果が小さいものの prompt 条件間で転移する - evidence 認識と学習された refusal 傾向を切り分ける必要性を強調 - 限界や一般化可能性についての詳細は要旨からは不明

- MoHoBench benchmark の原論文 - supervised post-training と preference-based post-training（RLHF/DPO 系）の比較研究 - MLLMs における refusal や abstention の研究 - activation steering / representation engineering による内部介入の研究 - 視覚的 evidence 不足時の hallucination や unanswerable question を扱う VQA 研究