本論文は、音声・視覚を含む社会的理解のためのMultimodal Large Language Models (MLLMs) の推論能力を評価する研究である。特に、Chain-of-thought (CoT) 推論が主流となる中で、既存のベンチマークであるIntentBenchと、その代表的な手法であるHumanOmniV2を批判的に検証し、新たな知見を報告している。具体的には、IntentBenchのノイズを除去したIntentBench-Primeを公開し、単純なVanilla SFTが高コストな推論手法と同等以上の性能を達成することを示し、さらにテキストのみから学習可能な事前知識の存在や、ビデオの代わりにテキストキャプションを用いても同等の性能が得られることを明らかにしている。
要旨からは、次に読むべき論文として、HumanOmniV2やIntentBenchの元論文、およびCoT推論に関する一般的な研究が挙げられる。また、MLLMsの社会的理解に関する他のベンチマークや、マルチモーダル学習におけるテキスト事前知識の影響を扱った研究も関連する。具体的には、HumanOmniV2の論文、IntentBenchの論文、そしてChain-of-thought推論の代表的な研究（例: "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models"）が参考になる。
Training Multimodal Large Language Models for audio-visual social understanding is a crucial step toward embodied social intelligence. Chain-of-thought (CoT) reasoning has become the dominant approach, with HumanOmniV2 and its IntentBench benchmark as a prominent reference point. In this context, we report three findings. First, IntentBench is highly noisy: $\sim$7% of questions are broken and $\sim$23% are trivially answerable without the video input. We remove the affected questions and release Intentbench-Prime. Second, current reasoning approaches are expensive and surprisingly ineffective. A simple Vanilla SFT baseline matches or outperforms existing reasoning methods across three benchmarks at a fraction of the cost, establishing it as an essential baseline for evaluating novel fine-tuning techniques. Third, our analysis reveals that substantial priors can be learned solely from the text modality and that using a textual caption instead of the video yields performance on par with Vanilla SFT. These surprising findings reveal the limitations of current MLLMs when it comes to social understanding. IntentBench-Prime, Vanilla SFT model, and code are publicly available.