マニピュレーション2026/8/16arXiv:2608.15680v1

ロボ・ドーパミン2.0：ロボット操作のための履歴条件付き・OOD認識プロセス報酬モデリング

Robo-Dopamine 2.0: History-Conditioned and OOD-Aware Process Reward Modeling for Robotic Manipulation

VLAモデルのロボット操作における報酬設計を改善するため、履歴とOOD（分布外）を考慮したプロセス報酬モデルを提案し、ペアワイズ予測インターフェースとSigned-Hopカリキュラムで学習精度を向上させた。

詳しい要約

1. どんなもの？

Robo-Dopamine 2.0は、ロボット操作のための履歴条件付きかつOOD（out-of-distribution）を意識したプロセス報酬モデルである。VLA（Vision-Language-Action）モデルの強化学習を改善するために、ペアワイズ予測インターフェースを導入し、履歴条件付きペアワイズ報酬とOODを意識した符号付き進行空間を組み合わせる。

2. 先行研究と比べてどこがすごい？

既存の学習された視覚報酬モデルは、静的なbefore-after観察に依存し、時間的曖昧さやOOD実行下でのロバスト性維持とタスク無効な失敗の識別が弱い。Robo-Dopamine 2.0は、履歴条件付きペアワイズ報酬とOODを意識した符号付き進行空間を導入することで、これらの問題に対処し、より高い視覚順序一貫性（VOC）と下流の強化学習成功率を達成する。

3. 技術・手法の肝は？

手法の肝は、(1)履歴条件付きペアワイズ報酬：合成OODクエリにはソース整合参照パネル、オンラインクエリには観測ロールアウト履歴を使用し、クエリの端点を保持する。(2)OODを意識した符号付き進行空間：有効な進行、ロバスト性、失敗、回復を表現する。(3)Signed-Hop Curriculum：遷移認識リプレイを用いて、粗い実行順序を学習してから細かい進行キャリブレーションを行う。

4. どうやって有効だと検証した？

OOD軌道データセットと5ファミリーベンチマークを構築し、参照パネルにより平均VOCが0.967から0.986、OODロバストVOCが0.906から0.958に向上。同じ400Kペアワイズ報酬予算で、Signed-Hopトレーニング（25%リプレイ）は平均VOC 0.9872を達成（対照群0.9858）。下流の強化学習では、平均RoboTwin成功率86.8%、実世界挿入71/80成功。

5. 議論はある？

要旨からは、議論の詳細は不明。ただし、提案手法の有効性は示されているが、計算コストや他のタスクへの一般化、OOD定義の主観性などが潜在的な議論点と考えられる。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、VLAモデル、強化学習、プロセス報酬モデル、OOD検出に関する論文が挙げられる。具体的には、RoboTwinベンチマークや、視覚報酬モデルの先行研究（例：Robo-Dopamine）が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijie Xu, Haopeng Jin, Run Zhou, Shengbang Liu, Sixiang Chen, Hongyang Cheng, Sicheng Hu, Peterson Co, Jinwen Luo, Huajie Tan, Shanghang Zhang

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action (VLA) models improve robotic manipulation but remain vulnerable to compounding errors, scene changes, and off-trajectory states. Reinforcement learning can refine pretrained VLA policies, yet sparse success signals hinder exploration, while engineered dense rewards are costly and task-specific. Existing learned visual reward models often rely on static before-after observations, causing temporal ambiguity and weak discrimination between robustness-preserving variations and task-invalid failures under out-of-distribution (OOD) execution. We introduce Robo-Dopamine 2.0, a history- and OOD-aware process reward model with a pairwise prediction interface. It combines (1) history-conditioned pairwise rewards that use source-aligned reference panels for synthetic OOD queries and observed rollout history for online queries, while preserving the queried endpoints, and (2) an OOD-aware signed progress space that represents valid progress, robustness, failure, and recovery. A Signed-Hop Curriculum with transition-aware replay learns coarse execution ordering before fine-grained progress calibration. We also construct an OOD trajectory dataset and a five-family benchmark. Reference panels improve mean visual order consistency (VOC) from 0.967 to 0.986 and OOD-robust VOC from 0.906 to 0.958. With the same 400K pairwise-reward budget, Signed-Hop training with 25% replay reaches 0.9872 mean VOC, compared with 0.9858 for a matched-pool shuffled control. In downstream reinforcement learning, the full model achieves 86.8% mean RoboTwin success and 71/80 successful real-world insertions.

arXivで原文を読む →arXiv概要ページ

← 論文一覧