何が起きたか
研究チームは、長期的なロボット操作タスクにおけるVLAポリシーの性能向上を目的とした「Foresight Residual RL」を提案した。この手法は、各サブタスクの終端状態から将来のサブタスク成功確率を推定し、それを報酬に組み込むことで、サブタスク間の受け渡し品質を最適化する。Isaac Gym環境での3段階ナット締め付けタスク（把持、移動・挿入、回転）において、フルタスク成功率85.6%を達成した。
詳細
提案手法は、まずベースポリシーの終端状態の画像から将来のサブタスク成功確率を予測する視覚的先読み予測器をオフラインで学習する。次に、この予測器の出力を報酬の乗数として用い、後方先読み帰納法（backward foresight induction）により残差ポリシーを学習する。実験では、標準的なサブタスク残差RL（54.5%）やVLAベースラインを上回る性能を示した。
Key Facts
| Foresight Residual RLは、各サブタスクのスパース成功報酬に、オフライン推定された先読み価値（現在のサブタスクの終端状態に基づく将来のサブタスク成功確率）を追加する。 | [1] |
| Isaac Gymでの3段階ナット締め付け組立タスク（把持、移動・挿入、回転）で、フルタスク成功率85.6%を達成。 | [1] |
| 標準的なサブタスク残差RLの成功率は54.5%だった。 | [1] |
| 提案手法は、各サブタスクの成功率を変えずに、長期的な性能を向上させる。 | [1] |
なぜ重要か
この研究は、ロボット操作における長期的なタスクの成功率を向上させるための新しいアプローチを示しており、特に産業用組立などの高精度な作業への応用が期待される。VLAポリシーの実用化に向けた重要な一歩となる可能性がある。