NumerosityVLM: 視覚言語モデルにおける数量表現の解釈のための認知に着想を得たベンチマーク

NumerosityVLMは、Vision-Language Models (VLMs)の数知覚（numerosity perception）能力を評価するために設計された、認知科学に着想を得た診断用ベンチマークである。10,800枚の合成画像から構成され、6つの制御条件下で、オブジェクトのサイズ、空間配置、数（numerosity）を直交的に操作し、さらにテクスチャ、形状、色を段階的に除去する。これにより、既存のcountingベンチマークが数と相関する視覚的要因を絡めていた問題を解消し、VLMsの数表現の本質を調べることを目的とする。

既存のcountingベンチマークは、数（numerosity）と相関する視覚的要因（例：オブジェクトのサイズや配置）を分離しておらず、モデルが数を正確に認識しているのか、それとも他の視覚的手がかりに依存しているのかを区別できなかった。NumerosityVLMは、これらの要因を直交的に操作し、さらにテクスチャ、形状、色を段階的に除去することで、純粋なnumerosity表現を評価できる点が優れている。また、層ごとのプロービングにより、視覚エンコーダの初期段階で線形分離可能なnumerosity信号が出現することを示し、モデル内部の表現を分析する点も新しい。

手法の肝は、ベンチマークの設計と分析にある。具体的には、(1) 合成画像を用いて、オブジェクトのサイズ、空間配置、numerosityを独立に操作し、さらにテクスチャ、形状、色を段階的に除去する6つの制御条件を設定。(2) 7つのVLMをzero-shot設定で評価し、多因子分析（multi-factor analysis）を用いて、モデルアーキテクチャが性能分散の最大の割合（部分ω²=0.325）を説明することを示す。(3) 層ごとのプロービング（layer-wise probing）により、視覚エンコーダの初期層で線形分離可能なnumerosity信号が一貫して出現することを発見。

有効性の検証は、7つのVLMをzero-shot設定でNumerosityVLM上で評価し、多因子分析によりモデルアーキテクチャが性能分散の最大の割合を説明することを示した。さらに、層ごとのプロービングにより、視覚エンコーダの初期段階で線形分離可能なnumerosity信号が出現することを確認し、モデル間の性能差が主に言語モデルコンポーネントに関連することを明らかにした。

要旨からは、議論の詳細は不明であるが、モデルアーキテクチャが性能に最も大きな影響を与えること、視覚エンコーダの初期層でnumerosity信号が出現する一方で、言語モデルコンポーネントが性能差に関連するという発見は、VLMsの数知覚メカニズムに関する新たな洞察を提供する。また、合成画像のみを用いているため、実世界の複雑なシーンへの一般化については議論の余地があると考えられる。

要旨で参照されている研究は明示されていないが、関連する分野として、人間の数知覚の認知モデル、VLMsの評価ベンチマーク（例：object countingベンチマーク）、およびモデルの内部表現の解釈可能性に関する研究が挙げられる。具体的には、既存のcountingベンチマークや、VLMの視覚エンコーダのプロービングに関する論文を読むことが推奨される。