時間的GRPO：視覚言語行動強化学習における軌跡レベルの信用割当を超えて

Temporal GRPOは、Vision-Language-Action (VLA)ポリシーの強化学習後訓練におけるクレジット割り当て問題を解決する手法。従来のGRPOベースの手法では、軌跡全体に単一の報酬（rollout-level advantage）を適用するため、途中まで成功しても最終的に失敗した軌跡の初期の有効な行動が不当にペナルティを受ける。これをtrajectory-level credit aliasingと呼ぶ。Temporal GRPOは、検出可能なタスク段階を構築し、各軌跡を段階固有の行動区間に対応付け、同じ段階に入った軌跡同士のみを比較することで、段階ごとのadvantageを計算し、対応する区間に適用する。

従来のGRPOベースのVLA後訓練では、軌跡全体に単一のadvantageを適用するため、部分的な進捗が評価されず、クレジット割り当てが不正確だった。Temporal GRPOは、段階ごとのクレジット割り当てを導入することで、この問題を解決し、タスク成功とサンプル効率を向上させる。

手法の核は、タスクを検出可能な段階に分割し、各軌跡を段階固有の行動区間に対応付けること。そして、同じ段階に入った軌跡のみを比較して段階ごとのadvantageを計算し、それを対応する行動区間に適用する。これにより、軌跡全体の結果に依存せず、段階ごとの進捗を正確に評価できる。

RoboTwin 2.0ベンチマークで評価し、タスク成功率とサンプル効率の向上を確認。また、LIBERO-Longでの制御された更新実験により、共有の前提段階を維持しつつ、軌跡の結果が分岐する最初の段階に改善が集中することを示した。

要旨からは、Temporal GRPOの限界や潜在的な欠点についての議論は不明。ただし、段階の検出可能性や、段階分割の自動化などが課題となる可能性が考えられるが、要旨には明記されていない。

要旨で参照されているGRPO（Group Relative Policy Optimization）や、VLAポリシーの後訓練に関する関連研究。具体的には、RoboTwinやLIBEROなどのベンチマークを用いた研究が挙げられる。