何が起きたか

arxiv.orgは2026-08-12、ARC-Benchという評価枠組みを公表した。これは、凍結したJEPA型世界モデルが候補行動を潜在空間の距離で正しく順位付けできるかを測るもので、公式公開済みのJEPA-WMチェックポイントをナビゲーションと操作の制御課題に適用した。結果として、操作系の監査では最上位に選ばれた候補がほぼ常に最適でなく、迷路系でも同様の反転が確認された。

詳細

同論文は、固定候補・リークなしのプロトコルであるARC-Benchを導入し、行動候補の潜在距離による順位付けと真のコスト順が一致するかを直接監査した。対象は、公式に公開されたJEPA-WMチェックポイントで、ナビゲーション系と操作系の制御にまたがって評価された。 さらに、制御された視覚バックボーン拡張では、DINOv2をV-JEPA 1およびV-JEPA 2のエンコーダに置き換えても欠陥が残り、ViT-LおよびViT-G規模でも同様だったとしている。加えて、出自確認、学習不足、予算をそろえたバックボーン比較、指標の循環性を抑える नियंत्रणにより、単純な説明は退けられたと論文は述べる。

Key Facts

ARC-Benchは、凍結JEPA型世界モデルの候補行動の順位付けを測る固定候補・リークなしの評価プロトコルである。[1]
公式公開済みのJEPA-WMチェックポイントを、ナビゲーションと操作の制御課題に適用した。[1]
操作系の監査では、最上位候補がほぼ常に最適でなかった。[1]
迷路ドメインでも同じ反転が見られた。[1]
DINOv2をV-JEPA 1とV-JEPA 2のエンコーダに置き換えても欠陥は残り、ViT-L/ViT-G規模でも確認された。[1]

本紙の見方

今回のポイントは、JEPA型世界モデルの性能そのものより、潜在空間の距離を使った候補行動の順位付けが成立しているかを、評価設計の側から壊して見せた点にある。ARC-Benchは固定候補・リークなしという条件を置き、閉ループ再計画の成功率ではなく、最初の順位付けが真のコスト順と合うかを直接見た。その結果、操作ではトップ候補がほぼ常に外れ、迷路でも同種の反転が起きたという。ここで新しいのは、単一タスクの失敗報告ではなく、順位付けという中核仮定が構造的に壊れていると示した点である。 この論点は、再計画を前提にした世界モデル評価の弱点を突く。本紙の見方では、閉ループ成功率は「よい表現」を示す指標ではなく、悪い初期順位付けを後続の再計画が隠しているだけかもしれない。論文が示したとおり、再計画頻度を下げるとナビゲーションと操作の双方で成功率が崩れ、しかも頻繁な再計画で救われたエピソードほど、PointMazeの初回計画診断で深刻な順位付け失敗を含んでいた。つまり、再計画は性能向上の手段であると同時に、表現の欠陥を見えにくくするフィルターとして働く。 既定路線の延長としては、DINOv2からV-JEPA 1/2へ、ViT-L/ViT-Gへと視覚バックボーンを変えても問題が残った点である。これは、特定アーキテクチャの偶然ではなく、凍結表現と距離ベース計画の組み合わせに広く潜む論点だと読める。他方で、どの条件なら順位付けが改善するのかはまだ見えていない。次に確認すべきは、候補集合の設計、再計画頻度の下限、タスクごとの失敗パターン、そして凍結表現を前提にしたまま順位付けを直接校正できるかどうかである。

なぜ重要か

論文の主張に従えば、閉ループの成功率だけでは、凍結潜在表現が候補行動を正しく並べられているかを判断できない。これは、世界モデルやプランナーの評価で、再計画を含む実運用スコアと初回順位付けの監査を分けて扱う必要があることを示す。

日本への影響

国内でも、ロボット制御や自律移動で再計画を前提にした世界モデル評価を採る場合、閉ループ成功率だけで表現品質を判断すると順位付けの欠陥を見逃すおそれがある。特に、操作とナビゲーションの両方を扱う研究では、初回計画の監査指標を別に持つ設計が必要になる可能性がある。