RoboJudge-Bench、身体化動画生成の評価用ベンチマークを公開　9Bモデルで最高の一致率

何が起きたか

arxiv.orgは2026-10-20、身体化動画生成の判定用ベンチマーク「RoboJudge-Bench」と、これを基にした9B規模の評価モデル「RoboJudge-9B」を公開した。RoboJudge-Benchは、8つのソースコーパスと10の動画生成器から集めた800本の人手注釈付き動画を使い、Physical AdherenceとInstruction Alignmentの2軸で判定性能を測る。著者らはさらに、12K本の動画に25K件の人手確認済みスコアとモデル補助の理由付けを付けた「RoboJudge-Train」を構築し、これで学習した9B MLLMを提示した。

詳細

RoboJudge-Benchは、グリッパー、人の手、巧緻手を含む動画を対象にしている。評価では、汎用MLLMは物理整合性で人間評価との一致が低く、一般領域の物理推論向けに設計された特化型の動画判定モデルも、身体化シナリオでは一貫した転移を示さなかったという。 RoboJudge-9Bは、RoboJudge-Bench上で評価したモデル判定器の中で全体一致率が最も高く、Pearson相関は0.719だった。著者らは、既存最良の専有ベースラインとしてGemini-3.7-Flashを挙げ、その上で0.089高い相関を示したとしている。さらに、RoboJudge-Trainでの学習はPhysion-EvalやVideoPhy2でも改善をもたらしたと記している。

Key Facts

本紙の見方

今回の論文の新しさは、身体化動画生成の評価を「作る」側ではなく「採点する」側の問題として定義し、物理整合性と指示一致性を分けて測った点にある。動画生成モデルの性能向上が話題になっても、その出力が実世界の操作として成立するか、指示どおりかを同じ尺度で扱うと評価が曖昧になる。RoboJudge-Benchはこの曖昧さを、800本の人手注釈付き動画と2軸評価で切り分けた点に特徴がある。 一方で、論文は既存の判定器が身体化場面で安定しないことも示した。汎用MLLMが物理整合性で弱く、一般領域の物理推論に強いとされる特化型判定器でも転移が一貫しないという結果は、動画判定を「汎用推論で十分」とみなせないことを示唆する。ここから、身体化動画の評価には、視覚と言語の一致だけでなく、操作対象や手先の違いを含む実世界の文脈が必要だと読める。 本紙の過去報道はないため連続性の比較はできないが、RoboJudge-Trainの設計は構造として重要である。12K本の動画に25K件の人手確認済みスコアを付け、さらにモデル補助の理由付けまで学習に入れているため、単なるベンチマーク公開ではなく、判定器そのものを継続的に強化するデータ基盤になっている。入力動画→人手評価→理由付け→9Bモデルという流れは、将来的に動画生成器の比較だけでなく、下流の自動評価器の再学習にもつながる構造だとみられる。 未確定の論点は、RoboJudge-9Bがどの種類の身体化タスクで強いか、10の動画生成器ごとの差、外部ベンチマークでの改善幅、そして判定の失敗例である。論文は外部ベンチマークでの向上を示すが、どの失敗モードが残るかまではここからは読み切れない。実運用での適用範囲を判断するには、タスク別の誤判定率と、生成モデルの比較順位がどの条件で変わるかを確認する必要がある。

なぜ重要か

身体化AIでは、生成結果が見た目で妥当でも、物理的に成立しない出力が混ざる。RoboJudge-Benchは、こうした出力を物理整合性と指示一致性に分けて測るため、生成モデルの選定や比較の前提をそろえる材料になる。著者らが示した0.719という相関は、評価器の自動化が一定の水準に近づいていることを示すが、適用範囲は論文が扱った動画・タスクに限られる。

日本への影響

日本のロボット研究や製造向けAIでは、実機操作の妥当性を動画生成だけでなく評価器でも詰める必要がある。特に、グリッパー、人の手、巧緻手を分けて扱う設計は、手先機構の違いを前提にする日本のロボット開発でも参照しやすい。