ビデオ理解2026/8/3arXiv:2608.02150

PhyCheck: ビデオLLMにおける物理法則理解のための詳細な根拠に基づくデータセット

PhyCheck: Fine-Grained Evidence-Grounded Dataset for Physical Law Understanding in Video-LLMs

ビデオ中の事象が物理法則に従うかどうかを判定するデータセットPhyCheckを構築し、粗粒度・細粒度のサブセットと診断用サブセットを用いてVideo-LLMの物理理解を改善・評価した。

詳しい要約

1. どんなもの？

PhyCheckは、Video Large Language Models (Video-LLMs)の物理法則理解を評価・改善するために構築された、細粒度のビデオ質問応答データセットである。粗粒度サブセットでは、ビデオ内の現象が物理法則に適合するか違反するかを判定させ、細粒度サブセットでは、その適合・違反の原因となる物理的詳細を捉えられるかを検証する。さらに、外部因果文脈を含む診断サブセットを備え、物理的妥当性に影響を与える隠れた要因を考慮して判断を再調整できるかを評価する。

2. 先行研究と比べてどこがすごい？

既存のベンチマークは主に生成ビデオの物理的品質を評価するものであり、Video-LLMsの物理法則理解を体系的に評価・改善するためのデータが限られていた。PhyCheckは、粗粒度と細粒度の2つの相補的な粒度でデータを構成し、単なる表面レベルの整合性判定だけでなく、物理的詳細の理解を促す点で先行研究より進んでいる。また、診断サブセットにより、外部因果条件を判断に組み込む能力を評価する新しい試みを含む。

3. 技術・手法の肝は？

PhyCheckは、ビデオQAデータセットとして、粗粒度サブセット（物理法則への適合/違反の二値判定）と細粒度サブセット（違反/適合の原因となる物理的詳細の記述）を提供する。さらに、診断サブセットでは、外部因果文脈（例：隠れた物理的条件）を付与し、モデルがその文脈を考慮して判断を変えられるかをテストする。データセットは構造化された監視信号として利用され、Qwen2.5-VLのファインチューニングに使用される。

4. どうやって有効だと検証した？

Qwen2.5-VLをPhyCheckのデータでファインチューニングし、物理整合性の理解が大幅に向上することを実験で示した。また、診断サブセットでの評価により、現在のモデルは追加の因果条件を判断に組み込むことが困難であることを明らかにした。

5. 議論はある？

結果は、表面レベルの不整合を認識することと、根底にある物理メカニズムを理解することの間にギャップがあることを示している。診断サブセットでの性能低下は、モデルが外部因果文脈を柔軟に利用できないことを示唆しており、物理理解の深いメカニズムの欠如が課題として浮き彫りになった。

6. 次に読むべき論文は？

要旨で参照されているVideo-LLMs（例：Qwen2.5-VL）や、物理的品質評価の既存ベンチマーク（例：PhysBenchやPhysGenなど）が関連する。また、世界モデルや具現化知能に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongjie Ba, Shengwang Xu, Peng Cheng, Jinyang Zou, Ting Yu, Zhibo Wang, Zhan Qin

分類: cs.CV, cs.AI

原文アブストラクト

Embodied intelligence and world models require video understanding systems to go beyond recognizing objects and actions and develop an understanding of physical regularities. However, despite their strong performance on general video understanding tasks, current video-language models still struggle to reliably determine whether an observed event conforms to specific physical laws. Existing benchmarks primarily assess the physical quality of generated videos, providing limited support for systematically evaluating and improving the physical-law understanding of Video Large Language Models (VideoLLMs). To address this gap, we introduce PhyCheck, a video question answering dataset organized at two complementary levels of granularity. The coarse-grained subset asks models to determine whether the phenomenon shown in a video conforms to or violates physical laws, while the fine-grained subset further examines whether models can capture physical details responsible for the violation or compliance. We use these subsets as structured supervision to improve physical understanding. In addition, the dataset contains a diagnostic subset with external causal context that reveal hidden factors affecting physical plausibility, assessing whether models can recalibrate their judgments accordingly. Experiments with Fine-tune Qwen2.5-VL show that training with the proposed data substantially improves the understanding of physical-consistency, while evaluations in the diagnostic subset reveal that current models still have difficulty incorporating additional causal conditions into their decisions. These findings highlight the gap between recognizing surface-level inconsistencies and understanding underlying physical mechanisms, and provide a foundation for evaluating and improving physical understanding in Video-LLMs.

arXivで原文を読む →arXiv概要ページ