チャートはピクセルを超える：レイヤー単位のチャート理解と編集の探求

LayerWiseBenchは、チャートのレイヤー単位での理解と編集を評価するためのベンチマークである。チャートは構造化された視覚的構成物であり、各要素は機能的役割、意味的対応、可視性関係を持つという見方に基づき、既存のベンチマークが最終出力の正確性や忠実性のみを評価するのに対し、レイヤー帰属、レイヤー結合、可視性順序の3つの概念を中心に、チャート理解と編集の評価を構成する。実行可能なチャートプログラムから生成され、各レンダリングチャートに空間的に整列したレイヤーごとのRGBAアセットと、機能的役割、意味的結合、可視性関係の構築由来ラベルをペアリングする。2,800のソースチャート（14のチャートパラダイム）から、7,329のレイヤー単位の理解質問と53,791の指示誘導編集バリアントを導出する。

既存のチャートベンチマークは最終出力の正確性や忠実性を評価するが、レイヤー単位の行動（レイヤー帰属、レイヤー結合、可視性順序）を直接評価しない。LayerWiseBenchは、チャートの構造的性質に着目し、レイヤー単位の理解と編集を評価する点で新規性がある。また、実行可能なチャートプログラムから生成することで、空間的に整列したレイヤーごとのRGBAアセットと構築由来ラベルを提供し、制御された理解質問、編集ターゲット、参照画像、評価領域を導出できる点が優れている。

手法の肝は、チャートをレイヤー単位で表現し、各レイヤーにRGBAアセットとラベルを対応付けることである。具体的には、実行可能なチャートプログラムからチャートを生成し、レイヤーごとのRGBAアセットと、機能的役割、意味的結合、可視性関係のラベルを構築する。このレイヤー表現から、理解質問（レイヤー帰属、レイヤー結合、可視性順序）と編集ターゲット（レイヤー単位の編集指示）を生成する。編集評価では、参照画像と評価領域を定義し、指示誘導編集のバリアントを作成する。

評価は、複数のVLM（例：Qwen3.5-27B）と画像エディタを用いて行われる。VLMには理解質問を解かせ、QA精度を測定する。画像エディタには指示誘導編集を実行させ、mIoU（Mean Intersection over Union）で編集品質を評価する。結果として、Qwen3.5-27Bはレイヤー帰属で93.04%、レイヤー結合で97.46%の精度を達成するが、可視性順序では61.46%に留まる。画像エディタの全体的なmIoUは1.49%から4.93%であり、可視性制約付き編集は全エディタで最低のmIoU（0.37%から2.00%）を示す。

結果は、重なり合うコンポーネント間の前後関係（front-to-back relations）を含むタスクが、理解と編集の両方で繰り返し課題となることを示している。これは、コンポーネントの同一性と可視性関係のより明示的なモデリングの必要性を示唆する。ただし、要旨からは、この課題の根本的な原因や解決策についての詳細な議論は不明である。また、評価されたVLMやエディタの範囲が限定的である可能性も考慮される。

要旨で参照されている研究は明示されていないが、関連する分野として、チャート理解のベンチマーク（例：ChartQA）や、画像編集のベンチマーク（例：InstructPix2Pix）が考えられる。また、レイヤー表現や可視性関係のモデリングに関する研究（例：レイヤー分解を用いた画像生成）も関連する。具体的な論文名は要旨からは不明であるため、同分野の定番として、チャート理解では「ChartQA」、画像編集では「InstructPix2Pix」を挙げる。