評価指標2026/8/14arXiv:2608.14284v1

PRM-as-a-Judge 1.5: ロボットプロセス評価のためのツールキット

PRM-as-a-Judge 1.5: A Toolkit for Robot Process Assessment

ロボットの動作動画から詳細な進捗曲線を生成し、失敗側の進捗や回復能力、成功側の実行品質など複数の細かい指標を導出する評価ツールキットを提案した。

詳しい要約

1. どんなもの？

PRM-as-a-Judge 1.5は、ロボットの操作プロセスを評価するためのツールキットである。ロールアウト動画を入力として、密な進捗曲線（dense progress curves）を生成し、そこから複数の細かいメトリクスを導出する。バージョン1.0を基に、失敗側の進捗、低下後の回復、成功側の実行品質を特徴づける3つの新しいメトリクスを導入し、embodied modelの能力をより詳細に理解することを目指す。また、プロセス報酬モデル（PRM）の信頼性を評価するためのRoboPulse++も導入し、ベンチマーク、メトリクス実装、可視化ツールを含むユーザーフレンドリーな評価スイートを提供する。

2. 先行研究と比べてどこがすごい？

従来のロボット評価は、バイナリの成功率やルールベースのプロセススコアに依存しており、プロセスの詳細な品質を捉えることができなかった。PRM-as-a-Judge 1.5は、ロールアウト動画から密な進捗曲線を生成し、失敗側の進捗、回復能力、成功側の実行品質など、より細かいメトリクスを提供することで、従来の評価手法よりも詳細で透明性の高い評価を実現している。また、PRM自体の信頼性を評価するRoboPulse++を導入し、評価基盤自体の精度向上を図っている点が新しい。

3. 技術・手法の肝は？

手法の核は、ロールアウト動画を入力として、プロセス報酬モデル（PRM）を用いて各タイムステップの進捗スコアを推定し、それを時系列にプロットした密な進捗曲線を生成することである。この曲線から、失敗側の進捗（failure-side progress）、低下後の回復（post-drawdown recovery）、成功側の実行品質（success-side execution quality）を定量化する3つのメトリクスを計算する。また、RoboPulse++は、PRMの信頼性を評価するためのテストプラットフォームであり、評価者により正確な評価環境を提供する。

4. どうやって有効だと検証した？

ベンチマークのロールアウト動画を用いて、複数のembodied modelを包括的に評価し、細かいメトリクス結果と主要な発見を提示している。また、RoboPulse++を用いてPRMの信頼性を評価し、評価ツールキットの有効性を検証している。具体的な数値や比較結果は要旨からは不明である。

5. 議論はある？

要旨からは、評価の透明性と再現性の重要性が強調されており、コミュニティに対してロボット評価の再考を呼びかけている。しかし、具体的な議論や限界については要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されているのは、バージョン1.0（PRM-as-a-Judge 1.0）とRoboPulse++である。また、関連する分野として、プロセス報酬モデル（PRM）やembodied modelの評価に関する研究が挙げられる。具体的な論文名は要旨にないため、同分野の定番として、ロボット操作のベンチマークや評価手法に関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuyang Liu, Yanqing Shen, Ruike Chen, Jifan Zhao, Yuxuan Tian, Yichi Zhang, Tianfeng Long, Zixuan Yin, Yipu Wang, Ziheng Qin, Wenxing Tan, Yang Shi, Mingyu Cao, Runze Xiao, Ziqi Wang, Zhixin Yin, Shiwei Chu, Yi-Fan Zhang, Yao Mu, Yuheng Ji, Yihao Wang, Jun Yan, Zhongyuan Wang, Pengwei Wang, Xiaolong Zheng

分類: cs.RO, cs.CV

原文アブストラクト

Fine-grained robotic evaluation matters for understanding embodied models, going beyond binary success rates and rule-based process scores. We present PRM-as-a-Judge 1.5, a toolkit for robot process assessment that turns rollout videos into dense progress curves and derives multiple fine metrics. PRM-as-a-Judge 1.5 introduces three metrics, building on version 1.0, that characterize failure-side progress, post-drawdown recovery, and success-side execution quality, helping users understand embodied model capability. Based on the rollout videos from benchmarks, we perform a comprehensive assessment of the embodied models, providing some fine-grained metric results and key findings. We further introduce RoboPulse++ to evaluate the reliability of process reward models (PRM), providing evaluators with a more accurate testing platform. Moreover, we release a user-friendly assessment suite, including the benchmark, metric implementation, and visualization tools, to support reproducible manipulation process evaluation. We call on the community to rethink how robots are evaluated and establish transparent, procedural, and reproducible assessment as a foundation for the next generation of embodied intelligence.

arXivで原文を読む →arXiv概要ページ

← 論文一覧