画像生成評価2026/10/23arXiv:2610.32459

MDMR-Bench：複数参照画像生成の多次元ベンチマーク

MDMR-Bench: A Multi-Dimensional Benchmark for Multi-Reference Image Generation

複数参照画像とテキスト指示に基づく画像生成を多角的に評価するため、能力設定ごとに複数の評価サブセットを設け、チェックリスト方式で診断的に採点するベンチマークを提案した論文。

詳しい要約

1. どんなもの？

- 多参照画像生成（multi-reference image generation）モデルを多次元的に評価するベンチマーク MDMR-Bench の提案 - 複数の参照画像とテキスト指示に基づく生成を対象とし、entity fusion や attribute transfer を含む応用を想定 - 代表的な能力設定ごとに複数の評価サブセットを組織し、異なる課題次元での系統的分析を可能にする - checklist-based evaluation protocol を導入し、生成品質を細粒度の評価観点に分解する - dataset と code は公開

2. 先行研究と比べてどこがすごい？

- 既存の multi-reference image generation 向けベンチマークは評価次元が限定的で、タスクの多様な難しさを捉えられていないと指摘 - 本研究は多次元の評価サブセットを設け、異なる challenge dimensions での能力と failure modes の分析を可能にする - 単なる holistic scoring ではなく、global-level と atomic-level の query からなる構造化 checklist でより診断的な評価を行う - open-source と proprietary の両モデルを benchmark し、次元ごとの fine-grained insights を示す

3. 技術・手法の肝は？

- MDMR-Bench は代表的な capability settings を軸に、複数の評価サブセットで構成 - 評価次元は (1) 一般的な entity fusion と attribute transfer、(2) 単一画像からの multi-element extraction、(3) infographic manipulation、(4) visual reasoning-intensive generation - checklist-based evaluation protocol により生成品質を fine-grained evaluation aspects に分解 - 評価は global-level と atomic-level の query を含む構造化 checklist に基づく - これにより holistic scoring のみに依存しない診断的評価を実現

4. どうやって有効だと検証した？

- open-source モデルと proprietary モデルの両方を MDMR-Bench で benchmarking - 異なる次元にわたるモデル性能について fine-grained insights が得られることを示す - 多次元の評価サブセットにより、異なる challenge dimensions での能力と failure modes を分析可能と報告 - 具体的なモデル名や定量結果は要旨からは不明

5. 議論はある？

- 既存ベンチマークの評価次元の限定性と多様な課題の捉えられなさを問題として提起 - holistic scoring のみでは得られない診断性を checklist-based protocol で補う立場 - 多次元設計により capability と failure mode の系統的分析が可能になると主張 - 具体的な限界や今後の課題については要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている既存の multi-reference image generation ベンチマーク（個別名は要旨からは不明） - entity fusion や attribute transfer を扱う画像生成研究 - infographic manipulation に関する生成・編集研究 - visual reasoning-intensive generation を扱う vision-language 研究 - checklist-based evaluation や LLM-as-a-judge など構造化評価手法に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bowen Zheng, Jintao Lin, Changheng Yi, Haoran Yang, Binxiao Huang, Chenyang Lei, Rui Liu, Xihui Liu

分類: cs.CV

原文アブストラクト

Image generation models have rapidly advanced, with many models now supporting generation conditioned on multiple reference images and textual instructions. Such models enable a wide range of applications, including entity fusion and attribute transfer across images. However, existing benchmarks for multi-reference image generation rely on limited evaluation dimensions and fail to capture the diverse challenges of the task. To address this limitation, we propose MDMR-Bench, a Multi-Dimensional benchmark for Multi-Reference image generation. MDMR-Bench is organized around representative capability settings and consists of multiple evaluation subsets spanning diverse dimensions of multi-reference image generation, including (1) common entity fusion and attribute transfer, (2) multi-element extraction from a single image, (3) infographic manipulation, and (4) visual reasoning-intensive generation. This design enables systematic analysis of model capabilities and failure modes across different challenge dimensions. Furthermore, to achieve more reliable and interpretable evaluation, we introduce a checklist-based evaluation protocol that decomposes generation quality into fine-grained evaluation aspects. Instead of relying solely on holistic scoring, our framework uses structured checklists composed of both global-level and atomic-level queries, enabling more diagnostic assessment of model performance. By benchmarking both open-source and proprietary models, we demonstrate that MDMR-Bench provides fine-grained insights into model performance across different dimensions. The dataset and code are publicly available.

arXivで原文を読む →arXiv概要ページ

← 論文一覧