VLA2026/8/18arXiv:2608.17423v1

Prism-GRPO: 同一結果グループの分割による高速なVLAポリシー最適化

Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups

GRPOの強化学習において、成功/失敗が同一のグループを品質スコアで分割し、学習信号を回復することでロールアウト効率を向上させる手法を提案した。

詳しい要約

1. どんなもの？

Prism-GRPOは、VLA（Vision-Language-Action）ポリシーの強化学習におけるGRPO（Group Relative Policy Optimization）のサンプリング効率を改善する手法。バイナリ成功報酬に加えて、軌道レベルの実行品質スコアを重み付けして導入し、全成功・全失敗のグループ（advantageがゼロになるグループ）を分割して学習信号を回復する。

2. 先行研究と比べてどこがすごい？

従来のGRPOは、criticを必要としないが、各シーンで複数ロールアウトが必要で、バイナリ報酬下では全成功・全失敗グループが破棄され、特に訓練初期にロールアウト予算を浪費する。Prism-GRPOは、品質スコアでグループを分割することで、破棄されるグループを減らし、ロールアウト予算を節約する点が新しい。

3. 技術・手法の肝は？

バイナリ成功報酬に、接触、実行アクション、視覚観察などから得られる軌道レベルの実行品質スコアを重み付けして加算する。品質スコアにより、同じ結果のグループを品質スペクトラムに分割し、成功が失敗より常に上位になるようにする。理論的には、サンプルグループが破棄される確率が増加しないこと、および勾配整合条件を導出し、タスク成功に対する局所的上昇方向を維持することを証明。

4. どうやって有効だと検証した？

4つのRoboTwinタスク（異なるホライズンと協調パターン）で評価。マッチしたロールアウト予算で成功率と品質を向上させ、目標成功率に達するまでのロールアウト数を最大56%削減。報酬ハッキングの抑制も確認し、実ロボットへの直接展開でクリーンな挙動を実証。アブレーションで、接触、平滑性、VLM由来の品質信号で一貫した改善を示した。

5. 議論はある？

要旨からは、品質スコアの設計がタスクに依存する可能性や、VLM由来の品質信号の計算コスト、理論的保証の実用性などについての議論は不明。また、実ロボット展開は1タスクのみで、他のタスクでの汎用性は不明。

6. 次に読むべき論文は？

要旨で参照されているGRPO（Group Relative Policy Optimization）とPPO（Proximal Policy Optimization）に関する論文。また、VLAポリシーの強化学習や報酬ハッキング対策に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyun Deng, Yuzhe Lu, Yawei Wang, Linbo Liu, Qing Ping, Han Ding, Guande Wu, Panpan Xu, Jun Huan

分類: cs.RO, cs.LG

原文アブストラクト

GRPO is increasingly used for reinforcement learning of vision-language-action (VLA) policies because, unlike PPO, it does not require training a critic. This simplification comes with a sampling cost: group-relative advantages require multiple rollouts from each scene. Under binary success rewards, groups whose rollouts all succeed or all fail have zero advantage and are discarded by dynamic sampling. These groups are especially common early in training, when most rollouts fail, wasting much of the expensive robotic rollout budget. We introduce Prism-GRPO, which augments binary outcome reward with a weighted trajectory-level execution-quality score. By splitting same-outcome groups into a quality spectrum, Prism-GRPO recovers training signal while ensuring that every success still outranks every failure. Quality scores can be derived from simulator contacts, executed actions, or visual observations, avoiding task-specific progress rewards. We prove that Prism-GRPO never increases the probability that a sampled group is discarded for having zero advantages, and derive a gradient-alignment condition under which its combined update remains a local ascent direction for task success. Across four RoboTwin tasks spanning different horizons and coordination patterns, Prism-GRPO improves success and quality at matched rollout budgets and reaches target success rates with up to 56% fewer rollouts. It also suppresses a reward-hacking shortcut, with the cleaner behavior transferring under direct deployment to a real robot. Through ablations, we show consistent gains across contact-, smoothness-, and VLM-derived quality signals.

arXivで原文を読む →arXiv概要ページ

← 論文一覧