価値基盤モデル2026/8/10arXiv:2608.09853v1

RynnValue: 時間的距離によるロボット価値基盤モデルのスケーリング

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

ロボット操作のための価値基盤モデルRynnValueを提案。時間的距離を報酬ラベルとして用いることで、大規模な異種データから価値学習を可能にし、実世界の成功率を向上させた。

詳しい要約

1. どんなもの？

RynnValueは、ロボット操作のためのオープンソースのvalue foundation modelである。大規模で異種混合のロボットデータから、言語で指定されたゴールまでの時間的距離（temporal distance）を学習し、報酬モデルとして機能する。7,000時間以上、約300万の指示付きクリップで訓練され、好み（preference）や進捗（progress）のアノテーションを必要としない。

2. 先行研究と比べてどこがすごい？

既存の報酬モデルは、タスク内部のアンカー（好みや正規化された進捗）に依存しており、異なるembodimentやデータソース間でうまく転送できない。RynnValueは、タイムスタンプから直接導出できる時間的距離をアンカーとして使用することで、大規模データへのスケーリングを可能にし、好みラベルなしで最先端の性能を達成している。

3. 技術・手法の肝は？

手法の肝は、時間的距離を学習目標とし、スケールでの信頼性を確保するための3つの工夫：ランダムな時間サンプリング、時間順序シャッフリング、value-isolation attention。これらは、失敗や回帰に鈍感になるようなショートカットを抑制する。また、potential-based shapingを用いて報酬に変換する。

4. どうやって有効だと検証した？

RBM-EVAL-OODベンチマークでKendall's tau_a平均0.675を達成し、完全にpreferenceで教師ありのSOTA（0.655）を上回り、progressのみの手法（0.292）の2倍以上。さらに、未見のタスク、embodiment、視点へのゼロショット汎化を示し、実ロボットではオンライン成功率52.5%→72.5%、オフライン63.8%→82.5%に向上。

5. 議論はある？

要旨からは、時間的距離が報酬として有効であることが示されたが、潜在的な限界や議論は明記されていない。例えば、時間的距離が必ずしもタスクの成功と一致しない場合や、異なるデータソースでの時間的距離の解釈の違いなどが考えられるが、要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、preference-based reward learningやprogress-based methodsが挙げられる。具体的には、好みラベルを用いた報酬学習の研究や、正規化された進捗を用いた手法が関連する。次に読むべき論文は、これらの手法の詳細を扱ったもの。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

General-purpose reward models are increasingly the bottleneck for scaling robot learning, yet the recipe for learning value-related capabilities from large-scale heterogeneous corpora remains underexplored. Existing approaches tie supervision to task-internal anchors such as preferences or normalized progress, none of which transfer cleanly across embodiments and data sources. We introduce RynnValue, an open-source value foundation model for robotic manipulation that replaces these anchors with temporal distance, the directed cost-to-go from an observation to the language-specified goal. Because temporal-distance labels can be derived directly from timestamps, RynnValue scales to over 7,000 hours and roughly 3M instruction-conditioned clips without preference or progress annotations. To make temporal-value learning reliable at scale, we combine random temporal sampling, temporal-order shuffling, and value-isolation attention, suppressing shortcuts that would leave predictions insensitive to failures and regressions. Trained without preference labels, RynnValue attains an average Kendall's tau_a of 0.675 on RBM-EVAL-OOD, surpassing the fully preference-supervised state of the art (0.655) and more than doubling a progress-only counterpart (0.292), while generalizing zero-shot to unseen tasks, embodiments, and viewpoints. Converted into dense rewards via potential-based shaping, it raises real-world policy success from 52.5% to 72.5% online and from 63.8% to 82.5% offline. These results establish temporal distance as a scalable supervision target and practical reward interface for generalist robot policies.

arXivで原文を読む →arXiv概要ページ

← 論文一覧