マルチモーダル学習が生む視覚型思考の創発

- テキストのみを入力とする推論時にも、multimodal training が言語モデルの「考え方」を形作るかを検証する研究。 - 6 model families・10 multimodal configurations を対象に、text-only backbone と対応させた causal ablation を実施。 - 空間的 imagery を要する課題（mental scene construction を促す）と、記号規則のみで解ける symbol-manipulation 課題を対比。 - hidden-state 空間に vision-language axis を同定し、推論時にその projection を ablate。 - 結果として emergent vision-shaped thinking (EVT) を提唱：image-like な内部形式を仮定せず、vision-language training で導入/強化された表現を text-only 推論が因果的に動員する現象。

- 従来は multimodal training の効果を「視覚入力の処理能力」として評価しがちだったのに対し、text-only 推論の変容に着目。 - matched text-only backbones と cross-family transfer controls を用意し、比較の妥当性を高めている。 - 単なる probing/decodability ではなく causal ablation により、表現の「使われ方」を切り分ける点が新しい。 - 課題難度・reasoning depth・sequential update load では説明できないことを示し、代替説明を排除。 - dual-path unified models で causal handle が generation pathway の compact one-dimensional carrier に局在することを示した点も先行研究と異なる。

- 10 の multimodal configurations と matched text-only backbones を用意し、cross-family transfer controls を実施。 - 空間的 imagery 課題と symbol-manipulation 課題を対比する実験設計。 - hidden-state 空間で vision-language axis を同定し、その projection を inference 時に ablate。 - 効果の direction-specific 性と layer-localized 性を検証。 - mental rotation, paper folding, perspective taking など mental-simulation 課題へ拡張。 - dual-path unified models (BAGEL, Janus-Pro) では generation pathway と understanding pathway を分けて causal handle を探索。 - decodability と…

- Chameleon-7B で ablation により BBH navigate が 27.6 pp 低下、boolean expressions は +5.6 pp で、33.2 pp の double dissociation を観測。 - 効果が direction-specific かつ layer-localized であることを確認。 - mental rotation, paper folding, perspective taking など mental-simulation 課題にも効果が及ぶことを確認。 - 課題難度・reasoning depth・sequential update load では説明できないことを検証。 - 7-8B では効果が空間的に集中し、32B では非空間的な visual attribute binding へ広がることを確認。 - BAGEL, Janus-Pro で causal handle が generation pathway の compact one-dimensional carrier に局在することを確認。

- EVT は image-like な内部形式を仮定しない概念として提示されている。 - behavior, probing, intervention が乖離しうる理由を concentration, alignment, semantic location の diagnostics で説明。 - understanding pathway は spatial information を higher-rank で probe-decodable に符号化するが、causal handle ではない点を議論。 - 効果のスケール依存性（7-8B で集中、32B で広がる）が示唆される。 - multimodal training が視覚入力処理だけでなく text-only 推論の geometry を変えるという主張。 - 限界や一般化可能性についての詳細は要旨からは不明。

- Chameleon-7B（本研究で中心的に検証されたモデル） - BAGEL, Janus-Pro（dual-path unified models として causal handle を分析） - BIG-Bench Hard (BBH) の navigate および boolean expressions 課題 - mental rotation, paper folding, perspective taking に関する研究 - vision-language axis や hidden-state ablation を用いた解釈可能性研究 - multimodal training が text-only reasoning に与える影響を扱う関連研究（要旨で個別参照は限定的）