画像空間におけるルール発見

本論文は、画像編集モデルが画像空間内で視覚的ルールを発見し、エンドツーエンドで問題解決を完了できるかを問う研究である。人間のワークシートテスト（IQテスト等）の精神に基づき、画像ベースの指示を読み取り、問題を認識し、答えを推論し、正しい場所にバインドし、出力数を制御し、不要な編集を抑制し、入力とフォーマットを保持することを要求する問題を扱う。新たにWISRD（Worksheet Image-Space Rule Discovery）ベンチマークを導入し、8つの情報条件の下で11のコアタスク（局所的マーキング、塗りつぶし、コピー、カウント、無編集抑制など）と、多段階空間操作、抽象パターン推論、論理的推論、制約ベース問題解決のための4つの補助的推論ストレスプローブを含む。

先行研究と比べて、画像編集モデルの能力を、単なる指示追従や画質ではなく、画像空間内でのルール発見と推論という高次認知タスクで評価する点が新しい。既存のベンチマークは主にテキストプロンプトに基づく編集や画質評価に焦点を当てており、画像内の指示を読み取り、複数の制約を満たしながら問題を解くという統合的なタスクは扱われていない。また、外部プロンプトが無い場合や一般的な場合でも、画像内に描かれた指示に部分的に依存できることを示す分析も新規性がある。

手法の肝は、WISRDベンチマークの設計にある。11のコアタスクを8つの情報条件で構成し、画像内の指示（rendered in-image instructions）をモデルがどの程度利用できるかを評価する。さらに、4つの補助的推論ストレスプローブ（多段階空間操作、抽象パターン推論、論理的推論、制約ベース問題解決）を追加し、モデルの推論能力をより深くテストする。評価指標として、Auto-Strict proxy pass rateを用い、V0-V3のno-referenceサブセットでモデルを比較している。

有効性の検証は、複数の最先端画像編集モデルをWISRDベンチマークで評価することで行った。具体的には、Nano Banana Pro、Qwen-Image-Edit、FLUX.2 Klein 4B API、FLUX.2 Klein 4B open-weight、InstructPix2Pixを比較し、共有V0-V3 no-referenceサブセットでのAuto-Strict proxy pass rateを報告している。結果、Nano Banana Proが48.7%で最高スコアを達成し、他のモデルは13.4%以下であった。さらに、補助診断として、Nano Banana Proは4x4 Sudokuで70.0%、公開RAVENパターン発見項目で22.9%を達成した。

議論として、現在の画像編集モデルは、外部プロンプトが無い場合や一般的な場合でも、画像内に描かれた指示に部分的に依存できることが示された。しかし、全体の成功率は低く、特に複雑な推論を要するタスクでは性能が限定的である。また、モデル間の性能差が大きく、Nano Banana Proが突出しているが、それでも48.7%に留まることから、画像空間でのルール発見と問題解決は未解決の課題であることが示唆される。要旨からは、モデルの失敗パターンや改善策についての詳細な議論は不明である。

次に読むべき論文は、要旨で参照されている公開RAVENデータセットに関する研究（Raven's Progressive Matricesを用いた抽象パターン推論の研究）や、画像編集モデルのベンチマークに関する既存研究（例：InstructPix2Pixの元論文、FLUX.2 Klein 4Bの技術報告など）が挙げられる。また、画像内の指示を利用する手法（例えば、visual instruction tuning）に関する研究も関連する。具体的な論文名は要旨に明記されていないため、同分野の定番として、視覚的推論ベンチマーク（RAVEN、Sudokuなど）や画像編集の評価指標に関する論文を参照することが推奨される。