3D再構成で世界モデルを評価するベンチマーク「RoboPhys-3D」公開 50タスク・5000エピソードを収録

何が起きたか

2026年8月28日、arXivにて身体化AI向け世界モデル評価ベンチマーク「RoboPhys-3D」が公開された。RoboTwin 2.0に基づき、50の操作タスク・4つのレジーム・5000エピソード・2万5000本の多視点正解動画を収録する。生成動画と正解動画を同一の3D再構成パイプラインで処理し、再構成起因の誤差と生成起因の誤差を区別できる点が特徴。

詳細

RoboPhys-3Dは、50の補完的指標を18のサブ次元に整理し、ピクセル忠実度・3D幾何整合性・状態理解・タスク完了度の4レベルで評価する。新たに、全50指標を階層的に平均するAverage Full Scoreと、タスク成功と最も相関する指標を平均するRoboPhyscoreを導入した。代表的な4つのビデオ世界モデルのうち、Cosmos 3が最高のRoboPhyscore(0.6330、正解動画の92.7%)を達成。一方、状態・実行接地指標では、知覚・VLMベースの判断では捉えられない重大な失敗が明らかになった。RoboPhyscoreは人間の評価と強い一致を示した(Pearson r=0.9761、Spearman ρ=0.8962)。

Key Facts

本紙の見方

RoboPhys-3Dの核心は、評価手法の新規性にある。従来の世界モデル評価は、生成動画の見た目の品質や、VLMによる間接的な判断に依存することが多かった。本ベンチマークは、生成動画と正解動画を同一の3D再構成パイプラインに通すことで、再構成に起因する誤差と生成に起因する誤差を分離し、3Dシーン状態の保存と実行可能な行動への変換を直接検証する。これは、世界モデルを「データエンジン」「行動プランナー」「シミュレータ」として使う身体化AIの実用性を測る上で、より接地した評価を提供する。 指標設計も特徴的だ。50の指標を4レベルに整理し、タスク成功と最も相関する指標を平均するRoboPhyscoreを導入した点は、評価の実用性を高める。Cosmos 3がRoboPhyscoreで0.6330(正解動画の92.7%)を達成した一方、状態・実行接地指標では重大な失敗が検出された。これは、知覚やVLMベースの判断では世界モデルの欠陥を見逃す可能性を示唆しており、評価の接地性の重要性を裏付ける。 RoboPhyscoreが人間の評価と強い一致を示した(Pearson r=0.9761、Spearman ρ=0.8962)ことは、この指標が主観的な品質評価を代替し得ることを示す。ただし、本ベンチマークはRoboTwin 2.0に基づくため、タスクの範囲は50の操作タスクに限定される。より多様な環境やタスクへの一般化は今後の課題である。 未確定の論点として、RoboPhys-3Dが他のベンチマーク(例えば、従来の2Dベースの評価)と比較して、実際のロボット制御の成功率向上にどの程度寄与するかは、本論文だけでは明らかでない。また、Cosmos 3以外のモデルの具体的なスコアや、各レベルの詳細な失敗パターンは、論文の本文を確認する必要がある。

なぜ重要か

RoboPhys-3Dは、世界モデルの評価を「見た目の品質」から「3Dシーン状態の保存と実行可能性」へとシフトさせる。これにより、身体化AIの研究開発において、より信頼性の高いモデル選定と改善が可能になる。特に、VLMベースの評価では捉えられない欠陥を検出できる点は、実世界展開を見据えたモデル開発に重要な示唆を与える。