マルチモーダルLLM評価2026/10/20arXiv:2610.27894

難命名視覚刺激に対する連想創造性：人間とマルチモーダルLLMの比較

Testing Associative Creativity in Humans and Multimodal LLMs with Difficult-to-Name Visual Stimuli

抽象図形やノイズ画像など名付けにくい視覚刺激の説明において、人間とMLLMの連想創造性（独創性・有効性）を比較し、人間の方が意味的距離や多様性の高い記述を生成することを示した研究。

詳しい要約

1. どんなもの？

- 抽象的で名前を付けにくい視覚刺激の記述における連想創造性を、人間と multimodal large language models (MLLMs) で比較する研究。 - 創造性を originality と effectiveness の2次元で評価。 - 難易度を統制した2つのデータセットを使用。 - SilCC: 抽象形状の組み合わせを段階的に複雑化し命名難易度を操作。 - PixCC: random visual noise の量を増やして難易度を操作。 - 複数の state-of-the-art MLLMs と人間参加者を評価。

2. 先行研究と比べてどこがすごい？

- 要旨からは不明（先行研究との直接比較や差分の記述がない）。 - 本研究の特徴として、難易度を統制した2データセット（SilCC, PixCC）で人間と複数 MLLMs を同一枠組みで比較する点が挙げられる。 - originality と effectiveness の2次元で創造性を評価する枠組みを用いる。

3. 技術・手法の肝は？

- 難易度を操作した2つのデータセットを設計。 - SilCC: 抽象形状の組み合わせの複雑さで命名難易度を段階的に変化。 - PixCC: random visual noise の増加で難易度を変化。 - 人間参加者と複数の state-of-the-art MLLMs に記述を生成させる。 - 創造性を originality と effectiveness の2次元で評価。 - 記述の多様性を semantic distance、entropy、reference lexica に対する新規性で分析。

4. どうやって有効だと検証した？

- SilCC と PixCC の2データセットで人間と複数 MLLMs を評価。 - 結果として、人間は MLLMs より多様な連想記述を生成（semantic distance、entropy、reference lexica に対する新規表現が大きい）。 - 難易度上昇に伴い、SilCC では effectiveness が低下。 - PixCC では人間が holistic associations から低次視覚特性の記述へ移行。

5. 議論はある？

- 人間と MLLMs の連想記述の多様性差が示唆される。 - 難易度上昇時の effectiveness 低下（SilCC）や記述方略の変化（PixCC）が観察される。 - 要旨からは不明（限界や今後の課題についての明示的記述はない）。

6. 次に読むべき論文は？

- 要旨からは不明（参照・比較されている個別研究の記載がない）。 - 関連手法として、multimodal large language models (MLLMs) の創造性評価、semantic distance・entropy を用いた記述多様性分析、抽象形状・visual noise を用いた知覚実験の文献が候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Manar Ali, Lisa Gottschalk, Simeon Junker, Lisa Hudalla, Alon Fishman, Joana Cholin, Stefan Kopp, Hendrik Buschmeier, Sina Zarrieß

分類: cs.CL, cs.CV

原文アブストラクト

We investigate associative creativity in descriptions of abstract visual stimuli by humans and multimodal large language models (MLLMs). While conceptual association is central to human communication, it remains unclear how humans and models adapt when visual stimuli become increasingly difficult to map onto familiar semantic concepts. We evaluate several state-of-the-art MLLMs and human participants along two dimensions of creativity, originality and effectiveness, using two datasets with controlled manipulations of difficulty. SilCC varies naming difficulty through progressively more complex combinations of abstract shapes, and PixCC varies difficulty through increasing levels of random visual noise. Results show that humans produce more diverse associative descriptions than MLLMs, including greater semantic distance, higher entropy, and more novel expressions relative to reference lexica. As difficulty increases, effectiveness declines in SilCC, and humans increasingly shift from holistic associations to descriptions of low-level visual properties in PixCC.

arXivで原文を読む →arXiv概要ページ

← 論文一覧