報酬モデル2026/8/9arXiv:2608.08491

TrustRoboReward: 選好順序付き等調スコア編集によるマルチパラダイムロボット報酬モデル

TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models

ロボット操作の強化学習における報酬モデルのボトルネックを解決するため、ペアワイズ選好とビデオQAを統合したマルチパラダイム報酬モデリングフレームワークを提案し、スコアと選好の矛盾を等調回帰で解消する。

詳しい要約

1. どんなもの？

TrustRoboRewardは、ロボット操作タスクのための報酬モデルを構築するフレームワークである。既存のVLMベースの報酬判定器（RoboRewardなど）が持つ、点数的スコアリングとペアワイズ選好の不整合問題を解決する。Preference-Ordered Isotonic Score Editing (POISE) という手法を導入し、複数のパラダイム（点数的スコアリングとペアワイズ比較）を統合する。

2. 先行研究と比べてどこがすごい？

先行研究のRoboRewardは単純な1-5の軌跡進行スコアのみを使用し、RLHFやDPOなどのペアワイズ選好を欠いていた。また、ペアワイズ比較とビデオQAを追加すると、点数的スコアと矛盾が生じ、訓練ノイズが増加する問題があった。TrustJudgeなどの集約手法はこの矛盾を解決できなかった。TrustRoboRewardは、POISEを用いて点数的スコアを校正し、ペアワイズ選好との逆転を理論的に0%に削減する点が新しい。

3. 技術・手法の肝は？

手法の核心はPOISEである。まず、4つのパラダイム（Score-A、Score-B、Pair-A、Pair-B）からなる統一データセットを構築する。ペアワイズラベルは点数的スコアよりも人間の判断と整合するため、点数的スコアを校正してペアワイズ選好との逆転を防ぐ。POISEは等調回帰（Isotonic Regression）を用いて点数的スコアを修正し、クロスパラダイムの逆転矛盾を除去する。理論的には、スコアペアの逆転矛盾を20.15%から0%に削減する。

4. どうやって有効だと検証した？

提案手法を評価するために、独自のベンチマークを構築した。Qwen3-VL-4BをPOISEで訓練し、全体の報酬スコア77.96%を達成し、GPT-5-mini（78.09%）にほぼ匹敵し、最強のRoboReward-4Bベースラインを10.13%上回った。また、テスト時のスコアペア一貫性は71.90%で、RoboReward-4B（57.26%）やGPT-5-mini（68.09%）を上回った。さらに、推論時にTrustJudge集約を統合すると、全体スコアは78.57%に向上し、教師モデルのGPT-5-miniを超えた。

5. 議論はある？

要旨からは、POISEが理論的に逆転矛盾を0%に削減する一方で、実際のテスト時のスコアペア一貫性は71.90%に留まっており、理論と実践のギャップが存在する可能性が示唆される。また、TrustJudge集約を統合すると性能が向上するが、そのメカニズムやPOISEとの相互作用については詳細が不明である。さらに、提案手法はVLMベースの報酬モデルに依存しており、他の報酬モデルへの一般性については議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されている研究として、RoboReward、TrustJudge、およびRLHF、DPO、Bradley-Terryフレームワークに関連する論文が挙げられる。また、ビデオQAやVLMの報酬モデルに関する研究も関連する。具体的には、RoboRewardの元論文、TrustJudgeの論文、および報酬モデリングにおけるペアワイズ選好と点数的スコアの統合に関する研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yidong Wang, Yan Zhan, Ziteng Feng, Zhenyu Cui, Ziyi Zhou, Renzhao Liang, Jiaxuan Zhu, Zilei Yang, Yiran Zhao, Zhongkuan Mao, Bo Jia, Hanchu Ni, Chenggang Xie, Biao Liu, Yi Zhang, Yong Dai, Xiaozhu Ju, Wei Ye, Shikun Zhang

分類: cs.AI

原文アブストラクト

Reward models are a bottleneck for reinforcement learning in embodied AI. Long-horizon robotic manipulation requires scalable vision feedback beyond handcrafted rewards or task-specific annotations. Existing open-source VLM reward judges like RoboReward adopt simple 1--5 trajectory progress scoring, lacking pairwise preferences for RLHF, DPO and Bradley-Terry frameworks, while failing to optimize video scene understanding. Augmenting RoboReward with pairwise comparison and video-QA supervision causes inconsistency between pairwise preferences and pointwise scores, introducing training noise and hurting downstream performance---an issue aggregation methods such as TrustJudge cannot resolve. To address this, we propose TrustRoboReward, a multi-paradigm reward modeling framework equipped with Preference-Ordered Isotonic Score Editing (POISE). We construct a unified four-paradigm dataset with trajectory progress scoring (Score-A), video-QA answer quality scoring (Score-B), and their pairwise counterparts (Pair-A, Pair-B). Pairwise labels align better with human judgment than pointwise scores, inspiring us to calibrate pointwise scores to avoid score-pair reversals against pairwise preferences. POISE rectifies pointwise scores and eliminates cross-paradigm reversal conflicts unresolved by TrustJudge. Theoretically, POISE reduces score-pair reversal conflicts from 20.15% to 0%, whereas TrustJudge retains 20.46% conflicts on the same corpus. Evaluated on our benchmark, Qwen3-VL-4B trained with POISE achieves an overall reward score of 77.96%, nearly matching GPT-5-mini (78.09%, gap 0.13%) and outperforming the strongest RoboReward-4B baseline by 10.13%. It also lifts test-time score-pair consistency to 71.90%, exceeding RoboReward-4B (57.26%) and GPT-5-mini (68.09%). Integrating TrustJudge aggregation during inference boosts the overall score to 78.57%, surpassing the GPT-5-mini teacher model.

arXivで原文を読む →arXiv概要ページ

← 論文一覧