日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

報酬モデルarXiv:2611.20741

基盤モデル時代のロボット報酬モデル

Robotic Reward Models in the Foundation-Model Era

シェア:XThreadsFacebookLINEはてブBluesky

ロボット報酬モデル114手法を出力の意味で5分類し、実ロボット動画ベンチマークRRM-Bench-1Kで27評価器を比較したサーベイ。

詳しい要約

1. どんなもの?

- 本論文は Robotic Reward Models (RRMs) に関するサーベイ - foundation models を用いて per-task reward engineering を置換し、再利用可能な task-conditioned evaluation を目指す研究群を整理 - 114 手法を、native output が答える問いに基づき5つの意味的 family に分類 - Outcome - Absolute Progress - Relative - Temporal Value - Hybrid - あわせて RRM-Bench-1K を導入 - 1,117 本の real-robot videos(closed-loop executions) - task-state と camera-evidence のラベル付き - 4 つの contrast suites で credited condition と通常の cue を分離 - RRM-Hub も open-sou…

2. 先行研究と比べてどこがすごい?

- 従来は RRMs という一つの名称の下で、出力が異なる問い(成功判定か、実行間の優劣か等)に答えていた - 本サーベイは native output の問いで 5 family に分類し、model design が評価可能な内容をどう規定するかを整理 - 既存評価実践のギャップを指摘 - demonstration order との一致や downstream policy gains は、reward が task fulfillment を追跡していることを示さない - RRM-Bench-1K と contrast suites により、credited condition と通常 cue を分離して評価する枠組みを提示 - 27 evaluators の統一比較を実施

3. 技術・手法の肝は?

- 114 手法を native output の問いで 5 family に分類する taxonomy を構築 - 各 family について次をレビュー - model design が evaluator の判断可能範囲をどう決めるか - raw experience が supervision にどう変換されるか - 既存 evaluation practice が結果をどう検証するか - RRM-Bench-1K を構築 - 1,117 real-robot videos(closed-loop executions) - task-state と camera-evidence のラベル - 4 つの contrast suites で credited condition と通常 cue を分離 - 27 evaluators の unified study を実施 - RRM-Hub を open-source 化し、14 既存 RRMs の適用と新 evaluator の同一能力上でのテストを可能に

4. どうやって有効だと検証した?

- RRM-Bench-1K 上で 27 evaluators を統一比較 - 最強の final scores は whole executions の ranking に十分で、selection と filtering に使える水準 - 一方 dense credit は task state よりも execution の progression に近く追従する - decisive view が欠けている場合に signal を出す evaluator は無い - 結論として、reward model に必要な fidelity はそれが駆動する意思決定に依存する

5. 議論はある?

- 既存評価の妥当性への問題提起 - demonstration order との一致や downstream policy gains は task fulfillment の追跡を示さない - dense credit が task state ではなく chronology に引きずられる点 - decisive view の欠落を検知できない点 - reward model の必要 fidelity は下流の意思決定に依存するという整理 - 今後の方向として real-failure supervision と、task state と chronology を分離する metrics を提示 - RRM-Hub による再現・比較基盤の整備

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、サーベイ対象の 5 family(Outcome, Absolute Progress, Relative, Temporal Value, Hybrid)に属する RRMs と、RRM-Hub に収録された 14 既存 RRMs を挙げる - 評価基盤として RRM-Bench-1K と 4 contrast suites が次の参照対象 - 同分野の定番として foundation models を用いた reward modeling と real-robot 評価の関連研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guoqiang Liang, Yiqi Lin, Shangchen Zhou, Wenzheng Zeng, Yanzhe Chen, Zechen Bai, Mike Zheng Shou

分類: cs.RO, cs.CV

原文アブストラクト

Robotic reward models (RRMs) use foundation models to replace per-task reward engineering with reusable, task-conditioned evaluation. Yet under one name, their outputs answer different questions, from whether a task succeeded to which execution is better. This survey organizes 114 methods into five semantic families by the question their native outputs answer: Outcome, Absolute Progress, Relative, Temporal Value, and Hybrid. Within this taxonomy, we review how model design determines what an evaluator can judge, how raw experience becomes supervision, and how existing evaluation practice tests the result. The review exposes a gap: agreement with demonstration order and downstream policy gains do not show whether a reward tracks task fulfillment. We therefore introduce RRM-Bench-1K, 1,117 real-robot videos of closed-loop executions with task-state and camera-evidence labels, and four contrast suites that separate the credited condition from its usual cues. A unified study of 27 evaluators shows that the strongest final scores rank whole executions well enough for selection and filtering. Dense credit, however, follows the progression of an execution more closely than its task state, and no evaluator signals when the decisive view is missing. How much fidelity a reward model needs therefore depends on the decision it drives. We outline directions from real-failure supervision to metrics that separate task state from chronology, and open-source RRM-Hub, a toolbox in which 14 existing RRMs can be readily applied and new evaluators tested on the same capabilities.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI