VLAモデルのRL後訓練でサンプル効率5倍、ヒンドサイトリラベリング手法「LfH」を提案

何が起きたか

2026年7月10日にarXivに公開された論文「Learning More from Less: Reinforcement Learning from Hindsight」において、VLAモデルのRL後訓練のサンプル効率を改善する手法LfHが発表された。LfHは、失敗したロールアウトを実際に達成したタスクに再ラベル付けすることで、スパースな報酬環境下でも学習を促進する。実験では、分布外のLIBERO-PROタスクで標準RLと比較してサンプル効率が5倍向上し、密な進捗報酬ベースラインを上回ったとされる。

詳細

LfHは、単一の視覚言語モデル(VLM)が失敗したロールアウト群に対してヒンドサイト指示を提案し、各ロールアウトがその指示をどの程度満たしているかをスコアリングする。ポリシーは再ラベル付けされたロールアウトと元のロールアウトを併用して訓練される。VLAの言語汎化能力により、言語での再ラベル付けが同一軌道からの学習を強化する。実験は複数のVLAバックボーンと物理的なFrankaロボットで行われ、効果が確認された。

Key Facts

本紙の見方

本手法は、VLAモデルのRL後訓練におけるサンプル効率の課題に取り組むもので、失敗データを有効活用する点が新しい。従来のRLではスパース報酬下で初期の失敗から学習が進まないが、LfHは失敗を別のタスクの成功とみなすことで学習信号を増やす。これは、ロボット学習におけるデータ収集コストの削減につながる可能性がある。特に、実ロボットでの展開が難しい状況では、サンプル効率の向上は実用化への重要な一歩となる。ただし、論文は特定のタスクセットでの評価であり、汎用性や大規模なタスクでの有効性は未確認である。また、VLMによる再ラベル付けの精度が性能に与える影響や、計算コストの増加も論点となる。今後は、より多様なタスクや実環境での検証が期待される。

なぜ重要か

VLAモデルの実用化には、ロボットの実機での試行錯誤が不可欠だが、そのコストは高い。LfHは失敗データを有効活用することで、学習に必要なロールアウト数を削減できる可能性を示しており、ロボット学習の効率化に寄与する。これは、物理ロボットでの展開を目指す研究開発において、コストと時間の大幅な削減につながる重要な進展である。