VLM、社会的行動の調整に失敗 新ベンチマークMOSAICが理論と行動の乖離を測定

何が起きたか

2026年8月21日にarXivで公開された論文で、2体の具現化エージェントが協力・競争シナリオで相互作用する制御されたベンチマークMOSAICが導入された。評価では、11のVLMを含む13モデルが各200試行でテストされ、VLMはToM次数制約下で期待される結果と一致する行動を生成できず、明示的なToM次数制約の付与も指定された推論レベルに整合する信頼できる行動変化を生まなかった。

詳細

MOSAICは、言語発話、空間軌跡、視線方向、表情の統合を必要とする協力・競争シナリオで、ToM制約を体系的に変動させて設計された。信号レベルの分析では、2つの連続的なボトルネックが特定された。第一に、ほとんどのモデルが方向的に一貫した非言語信号を生成できない。第二に、信号が存在する場合でも、VLMエージェントは他者の行動を解釈して反応することができない。構造化されたアーキテクチャ参照点として含まれたPCM-LLMは、明示的なToMモジュールを持ち、全条件で成功した。

Key Facts

本紙の見方

今回の研究の新しさは、ToM推論と身体的行動を分離して評価してきた既存のベンチマークに対し、MOSAICが両者を統合した点にある。従来のToMベンチマークは、推論能力を測定するか、行動を測定するかのどちらかであり、推論と行動の間のギャップを直接測定するものではなかった。MOSAICは、言語・非言語チャネルを同時に調整する必要がある協力・競争シナリオを設計することで、このギャップを定量化することを可能にした。 本紙の過去報道との接続はないが、この結果は、VLMの社会的知能に関する議論に重要な示唆を与える。VLMがToM推論を必要とするタスクで高い性能を示すという既存の報告がある一方で、実際の社会的行動にそれを翻訳できないという今回の結果は、推論能力と行動能力の乖離を浮き彫りにする。これは、VLMが「心の理論を持つ」と評価されることの限界を示しており、社会的エージェントとしての実用化には、推論と行動の結合が不可欠であることを示唆する。 業界構造への含意として、この結果は、ロボットやバーチャルエージェントにVLMを搭載する際の設計指針に影響を与える。PCM-LLMのように明示的なToMモジュールを組み込むことで、信念と行動の結合が達成できるという結果は、アーキテクチャ設計におけるモジュール性の重要性を示している。一方で、VLMの大規模化だけでは社会的行動の調整能力は向上しない可能性があり、モデルの訓練方法や評価方法の再考が必要になる。 未確定の論点として、MOSAICの評価が特定のシナリオとモデルに限定されていることが挙げられる。13モデルというサンプルサイズは限定的であり、より多様なモデルやシナリオでの検証が待たれる。また、PCM-LLMの成功が、明示的なToMモジュールの存在によるものか、それとも他のアーキテクチャ特性によるものかは、追加のアブレーション研究が必要である。さらに、MOSAICのタスクが実際の社会的相互作用の複雑さをどの程度反映しているかという妥当性の検証も今後の課題である。

なぜ重要か

この研究は、VLMの社会的知能評価に新たな基準を提供し、推論と行動の乖離という重要な問題を浮き彫りにした。社会的エージェントの開発において、単に推論能力を高めるだけでは不十分であり、行動との結合を設計に組み込む必要があることを示している。