ROVE、不完全な人間介入を活用するヒューマノイド操作の強化学習フレームワークを提案

何が起きたか

2026年6月15日にarXivで公開された論文で、ヒューマノイド操作のための強化学習フレームワークROVEが提案された。ROVEは、不完全な人間介入を利用してVision-Language-Action (VLA)モデルの事後学習を改善する。実世界の接触を伴う細かい操作タスクで、経験学習ベースラインを上回る性能を達成したと報告されている。

詳細

ROVEは、ヒューマノイド操作のための強化学習フレームワークであり、不完全な人間介入を扱う。まず、展開データと介入データを収集するためのヒューマン・イン・ザ・ループパイプラインを導入する。次に、Optimistic Value Estimation (OVE)を用いて、混合品質の軌道から高価値な行動を優先する。さらに、クロスエンボディの人間経験ビデオを組み込むことで、長尾の失敗と回復モードに対する豊富な監視を提供する。これにより、価値推定が堅牢になり、VLAアクターがすべての行動を無差別に模倣するのではなく、高価値な行動に焦点を当てるための有益なアドバンテージ信号が得られる。実世界の接触を伴う細かい操作タスクで、ROVEは経験学習ベースラインを上回り、複数のロールアウト介入反復にわたって一貫して改善した。

Key Facts

なぜ重要か

ROVEは、ヒューマノイド操作における人間介入の不完全性を克服するための新しい枠組みを提供する。これにより、実世界の複雑な操作タスクにおけるVLAモデルの学習効率とロバスト性が向上する可能性がある。今後のヒューマノイドロボットの実用化に向けて、データ収集と学習の手法に影響を与えるとみられる。