MLLM審判は編集を正しく評価しているか？品質保持を検証した画像編集評価におけるバイアスの監査

MLLMをinstruction-based image editingの自動評価者や学習報酬として使う際のバイアスを監査する研究。 - 課題: 視覚介入が編集品質自体を変えうるため、判断変化をバイアスと断定できない。 - 提案: 品質保存を検証済みのcounterfactual benchmark「EditJudgeBias」を導入。 - 構成: 実編集サンプル1,196件、4つのevaluation siteに13種のcueを注入。 - 監査: 5つのMLLM judgeを3次元(invariance, human agreement, pairwise preference stability)で評価。

従来のMLLM judge評価は、介入が編集品質を保つか未検証のまま判断変化をバイアスとみなしがち。 - 本研究は品質保存をcalibrated multimodal validators・controls・human inspectionで検証。 - 観測された変化をゼロではなく各judge自身のzero-dose・re-query noise floorと比較。 - これにより品質保存cueによる真のバイアスを分離して監査できる点が新しい。

中核は品質保存を検証したcounterfactual benchmarkの構築と多次元監査。 - 1,196 real editing samplesに4 evaluation sites・13 cuesを注入。 - 要求編集に対する品質保存をcalibrated multimodal validators, controls, human inspectionで確認。 - 5 MLLM judgesをinvariance, human agreement, pairwise preference stabilityで評価。 - 判断変化は各judgeのzero-dose・re-query noise floorと比較。

EditJudgeBias上で5つのMLLM judgeを実験的に監査。 - 品質保存cueは全judgeを自身のnoise floorを超えて動かした。 - fabricated majority opinionsはratingsを増加。 - irrelevant visual elementsはwhole-image manipulationsより大きなshiftを生起。 - candidate orderのswapでpairwise decisionsの最大60.9%が反転。 - edit-region cuesはhuman agreementを低下させる傾向。 - 3指標はjudgeを異なる形で特徴づけ、単一指標ではrobustnessを捉えられないと示した。

議論点として、MLLM judgeのrobustnessは単一指標で捉えられないことが示唆される。 - 3つのmeasureがjudgeを異なる形で特徴づける。 - 品質保存cueでも判断が動くため、自動評価や報酬信号の信頼性に懸念。 - ただし具体的な緩和策や一般化可能性は要旨からは不明。

要旨で参照・比較されている個別研究は明示されていない。 - 関連手法としてMLLM-as-a-judge、instruction-based image editing、counterfactual benchmark、calibrated multimodal validatorsが挙げられる。 - 同分野の定番としてimage editing evaluation metricsやreward modelingの論文を読むとよい。 - 具体的な論文名は要旨からは不明。