日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.27782

RoboJudge:身体性動画生成のためのマルチモーダル言語モデルによる評価者

RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

身体性動画生成の物理的妥当性と指示整合性を評価するMLLMのベンチマークRoboJudge-Benchを構築し、人間の評価と一致するよう微調整したRoboJudge-9Bを提案した論文。

詳しい要約

1. どんなもの?

- 本論文は embodied video generation の出力を評価する MLLM judge を扱う研究 - 生成 rollout が物理的に妥当で task instruction に忠実かを判定 - 主な貢献は3点 - RoboJudge-Bench: MLLM judge を評価する benchmark - RoboJudge-Train: 学習用データセット - RoboJudge-9B: ファインチューニング済み judge model - RoboJudge-Bench は Physical Adherence と Instruction Alignment の2軸を測定 - 8 source corpora、10 video generators 由来の 800 本の人手注釈済み動画 - grippers、human hands、dexterous hands を対象 - RoboJudge-Train は 12K 動画、25K の人手検証済みスコアと model-assisted rationales を含む - 下流では RoboJ…

2. 先行研究と比べてどこがすごい?

- 先行研究では MLLM を embodied video の judge に使う動きがあるが、human judgment との一致は体系的に評価されていなかった - 本論文はこのギャップを RoboJudge-Bench で埋める - 既存 judge の限界を定量的に示す - general-purpose MLLM は Physical Adherence での一致が低い - 一般ドメインの物理推論向け specialized video judge は embodied シナリオへ一貫して転移しない - RoboJudge-9B は評価した model judge 中で最高の overall agreement - Pearson correlation 0.719 - 最良の proprietary baseline である Gemini-3.7-Flash に対し統計的に有意な 0.089 の改善 - RoboJudge-Train での学習が VideoPhy2 や Physion-Eval など外部 benchmark でも性能向上をもたらす点が…

3. 技術・手法の肝は?

- RoboJudge-Bench を構築し、MLLM judge と human rating の一致度を2軸で測る - Physical Adherence と Instruction Alignment - 800 本の人手注釈動画、8 source corpora、10 video generators - grippers、human hands、dexterous hands をカバー - RoboJudge-Train を構築 - 12K 動画、25K の人手検証済みスコア - model-assisted rationales を付与 - 9B MLLM を supervised learning でファインチューニングし、続いて reinforcement learning を適用 - これにより RoboJudge-9B を得る - 評価は human rating との一致度で行い、Pearson correlation を主要指標とする - 下流 evaluator として video generation model を2軸で benc…

4. どうやって有効だと検証した?

- RoboJudge-Bench 上で既存 judge と human rating の一致を比較 - general-purpose MLLM と specialized video judge の双方を評価 - RoboJudge-9B の overall agreement を測定 - Pearson correlation 0.719 - Gemini-3.7-Flash に対し統計的に有意な 0.089 の改善 - 外部 benchmark での検証 - VideoPhy2 と Physion-Eval で向上を確認 - 下流評価の実証 - RoboJudge-9B を evaluator として video generation model を Physical Adherence と Instruction Alignment で benchmark - 詳細な実験設定や被験者数などは要旨からは不明

5. 議論はある?

- 既存 MLLM judge の限界が議論の出発点 - general-purpose MLLM は Physical Adherence の一致が低い - 一般ドメイン向け specialized video judge は embodied へ一貫して転移しない - 人手注釈と model-assisted rationales を組み合わせた学習データの有効性が示唆される - supervised learning と reinforcement learning の組み合わせで judge 性能が向上 - 外部 benchmark への転移可能性も議論材料 - VideoPhy2 や Physion-Eval での向上 - 限界やバイアス、計算コスト、rationale の品質など詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- Gemini-3.7-Flash: 本論文で最良の proprietary baseline として比較対象 - VideoPhy2: 外部 benchmark として参照 - Physion-Eval: 外部 benchmark として参照 - 関連する定番手法として、embodied video generation の評価に用いられる general-purpose MLLM judge や specialized video judge 全般 - embodied world model や video generation model の物理妥当性評価に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang, Yandong Wen

分類: cs.CV, cs.RO

原文アブストラクト

Video generation models are promising foundations for embodied world models, but only if their generated rollouts are physically valid and faithful to task instructions. Multimodal large language models (MLLMs) are increasingly used to judge these properties, yet their agreement with human judgments on embodied videos has not been systematically evaluated. To address this gap, we introduce RoboJudge-Bench, a benchmark for evaluating MLLMs as judges of embodied video generation. The benchmark measures two fundamental dimensions, Physical Adherence and Instruction Alignment, across 800 human-annotated videos from 8 source corpora and 10 video generators, spanning grippers, human hands, and dexterous hands. Experiments reveal uneven alignment between existing judges and human ratings: general-purpose MLLMs show lower agreement on physical adherence, while specialized video judges designed for general-domain physical reasoning do not consistently transfer to embodied scenarios. Motivated by these findings, we construct RoboJudge-Train, comprising 12K videos annotated with 25K human-verified scores and model-assisted rationales for Physical Adherence and Instruction Alignment. We fine-tune a 9B MLLM on this dataset with supervised learning followed by reinforcement learning, yielding RoboJudge-9B. Among the model judges evaluated on RoboJudge-Bench, RoboJudge-9B achieves the highest overall agreement, reaching a Pearson correlation of 0.719 with a statistically significant 0.089 gain over Gemini-3.7-Flash, the best-performing proprietary baseline in our evaluation. Training on RoboJudge-Train also yields gains on external benchmarks, including VideoPhy2 and Physion-Eval. We further use RoboJudge-9B as a downstream evaluator to benchmark video generation models according to Physical Adherence and Instruction Alignment.

関連論文

PR本紙発行元 EmplifAI