ロボット操作の成功判定モデル「RoboJev-27B」を公開、異なる研究室・ロボットの動画でも評価

何が起きたか

arXiv掲載の論文「RoboJev: An Open Vision-Language Judge for Robot Success Detection」は2026年10月24日、ロボット操作の成否を動画から判定するオープンウェイトモデル「RoboJev-27B」を報告した。同モデルは指示文と操作動画の10フレームを入力し、利用可能な場合は補助カメラの最終フレームも使う。SO-101の268エピソードでbalanced accuracy 95.2%、AUROC 0.993を得たほか、未見の研究室・ロボットの459エピソードではAUROC 0.890だった。

詳細

RoboJev-27BはJEV-27B-VLを基に、視覚エンコーダーを固定したまま言語モデルだけにrank-32のLoRAアダプターを適用し、52,598件のエピソード記録で学習した。研究データに限って元モデルに近い予測を促す、データソース別のKLペナルティーを使う。成否の確率は、校正した2トークンの読み出しで1回のフォワードパスから出力する。 明確にラベル付けされたコミュニティー収集エピソード135件では正解率93.3%だった。未見の研究室・ロボットの同じ入力条件では、ベースモデルのAUROCは0.900。H100 1基での推論時間は直列処理の中央値で1エピソード当たり0.26秒、GPU時間当たり2.69ドルの条件で成功判定1,000件当たり約0.19ドルとするが、メディア処理とサービングの費用は含まない。推論コードと、29のモデル・プロトコル項目に整理した20,628件の予測も公開した。

Key Facts

本紙の見方

この研究の焦点は、ロボット操作の映像を生成することではなく、映像に成否ラベルが付いていない場合の評価工程をモデルで補う点にある。公開対象にはモデルだけでなく推論コードと、20,628件の予測を29のモデル・プロトコル項目に整理した評価資料も含まれる。したがって、単一の性能値を示すだけでなく、異なる条件の判定を参照・比較できる形にしたことが、論文の公開内容の特徴といえる。 評価値は対象ごとに分けて読む必要がある。SO-101の268件ではbalanced accuracy 95.2%、AUROC 0.993だが、未見の研究室・ロボットを含む459件ではAUROC 0.890に下がる。一方、同じ未見データの入力条件でベースモデルはAUROC 0.900であり、RoboJev-27Bがその比較で上回ったとはいえない。コミュニティー収集の135件での正解率93.3%も、別のデータ群での結果である。データ数や指標が異なるため、これらを単純に横並びにして汎用性能を示すものと解釈するのは適切でない。 設計面では、視覚エンコーダーを固定し、言語モデル側をLoRAで調整する構成に加え、研究データに限って元モデルの予測に近づけるKLペナルティーを採用した。これは、データの出所によって判定の振る舞いが変わる問題を、学習時の処理として扱っていることを示す。ただし、公開された説明からは、このペナルティーが各データ群の結果にどの程度影響したかまでは読み取れない。成否判定の利用を検討する側には、全体スコアだけでなく、ロボットや収集元ごとの誤判定の内訳が重要になる。 推論時間はH100 1基で中央値0.26秒、判定1,000件当たり約0.19ドルとされるが、後者はGPU時間2.69ドルの条件で、映像処理とサービング費用を含まない。したがって、この数字だけで実運用時の総費用や処理能力を評価することはできない。今後確認すべきなのは、タスクの種類や撮影条件をまたいだ成績、失敗を成功と判定する割合、追加のカメラ映像が結果に与える効果、実運用時の処理費用である。論文の評価は複数のデータ群を含む一方、提示された要約だけでは、それらの条件別内訳や現場での運用結果は示されていない。

なぜ重要か

ロボット操作の成否ラベルが不足する動画に対し、RoboJev-27Bは指示文と複数フレームから成功・失敗の確率を出す方式を提示した。論文では異なる研究室・ロボットの459エピソードでもAUROC 0.890を報告しており、評価対象を特定のロボットだけに限らない可能性を検討する材料となるが、運用時の費用にはメディア処理とサービングが含まれない。