何が起きたか

研究チームは、ロボット操作のための価値基盤モデル「RynnValue」を発表した。従来の報酬学習は選好や正規化された進捗などタスク内の基準に依存していたが、RynnValueは観測から言語指定の目標までの時間距離（temporal distance）を教師信号として用いる。時間距離ラベルはタイムスタンプから直接導出できるため、選好や進捗のアノテーションなしで7000時間以上、約300万の指示付きクリップで学習できる。大規模な時間価値学習を信頼できるものにするため、ランダム時間サンプリング、時間順序シャッフル、価値分離アテンションを組み合わせ、予測が失敗や後退に鈍感になる近道を抑制した。

Key Facts

RynnValueはロボット操作のためのオープンソースの価値基盤モデルである。[0]
RynnValueは時間距離を教師信号として用いる。[0]
RynnValueは7000時間以上、約300万の指示付きクリップで学習される。[0]
RynnValueは選好ラベルなしで学習される。[0]
RynnValueはRBM-EVAL-OODで平均Kendall's tau_a 0.675を達成し、選好教師ありの最先端手法（0.655）を上回った。[0]
進捗のみの手法（0.292）と比較して2倍以上の性能を示した。[0]
RynnValueは未見のタスク、実施形態、視点に対してゼロショットで一般化する。[0]
ポテンシャルベースのシェーピングで密な報酬に変換し、実世界のポリシー成功率をオンラインで52.5%から72.5%に、オフラインで63.8%から82.5%に向上させた。[0]

なぜ重要か

ロボット学習のスケーリングにおいて、汎用報酬モデルがボトルネックとなっている。RynnValueは時間距離を教師信号とすることで、選好ラベルなどの高コストなアノテーションを必要とせず、大規模な異種データから価値関連能力を学習できることを示した。これは汎用ロボットポリシーのための実用的な報酬インターフェースとして、ロボット学習のスケーリングに寄与する可能性がある。