何が起きたか

2025年3月6日、arXivにプレプリント「Refined Policy Distillation: From VLA Generalists to RL Experts」が公開された。研究チームは、汎用性の高いVLAを、RLを用いて高性能な専門家ポリシーへ蒸留する手法RPDを提案し、ManiSkill3環境でOctoとOpenVLAのファインチューニング版を用いて評価した。実験では、RPDが密・疎な報酬設定の両方でVLA教師を上回る性能を示した。

詳細

RPDは、教師VLAの行動をガイドに用いるオン方策RLと行動クローニングを組み合わせた手法である。これにより、RL探索中のサンプル効率が向上し、収束が速くなるとされる。実験はManiSkill3シミュレーション環境で実施され、OctoとOpenVLAのファインチューニング版が教師として使用された。結果、RPDは密報酬・疎報酬の両設定でVLA教師を上回る専門家ポリシーを学習し、RLベースラインよりも速く収束した。さらに、カメラ視点の変化に対して頑健で、基盤となるVLAが解決できないタスク変動にも一般化できると報告されている。コード、データセット、VLAチェックポイント、動画はプロジェクトページで公開されている。

Key Facts

論文「Refined Policy Distillation: From VLA Generalists to RL Experts」がarXivに2025年3月6日に公開された。出典一覧
RPDはオン方策RLと行動クローニングを組み合わせ、教師VLAの行動を利用して学生ポリシーを蒸留・洗練する。出典一覧
ManiSkill3環境でOctoとOpenVLAのファインチューニング版を用いて評価された。出典一覧
実験では、RPDが密報酬・疎報酬の両設定でVLA教師を上回る性能を示し、RLベースラインより速く収束した。出典一覧
RPDはカメラ視点の変化に頑健で、基盤VLAが解決できないタスク変動にも一般化できると報告されている。出典一覧

本紙の見方

本手法の新規性は、VLAの汎用性を保ちつつ、RLによって専門家ポリシーへと蒸留する点にある。従来のVLAは実世界での汎化に優れる一方、成功率が専門家ポリシーに及ばず、環境変化に応じたファインチューニングが必要とされてきた。RPDは、教師VLAの行動をRL探索のガイドとして利用することで、サンプル効率と収束速度を高め、VLA教師を上回る性能を達成している。これは、VLAの汎用性とRLの専門性を橋渡しする試みとして位置づけられる。 本紙の過去報道との接続はないが、ロボット学習分野では、基盤モデルを特定タスク向けに適応させる手法が注目を集めており、RPDはその一環とみられる。特に、シミュレーションでの評価に留まるものの、カメラ視点の変化やタスク変動への頑健性は、実世界展開への可能性を示唆する。 業界構造への含意として、VLAの実用化には、汎用性と専門性の両立が課題であり、RPDのような蒸留手法は、ロボットのタスク特化型ポリシーを効率的に生成する手段となり得る。また、教師VLAの行動を利用することで、RLの探索コストを削減できる点は、実ロボットでの学習効率向上に寄与する可能性がある。 未確定の論点としては、シミュレーション結果が実世界でどの程度再現されるか、また、RPDが大規模なVLAや多様なタスクにスケールするかが挙げられる。さらに、教師VLAの性能がRPDの上限を決める可能性があり、教師の選択や蒸留の条件が結果に与える影響も検証が必要である。

なぜ重要か

VLAはロボットの汎用制御に期待される一方、実用には専門性の高いポリシーへの変換が不可欠である。RPDは、RLと行動クローニングの組み合わせにより、VLAの知識を効率的に専門家ポリシーへ蒸留する手法を提供し、ロボット学習の実用化を前進させる可能性がある。今後の実世界での検証が、この手法の有効性を左右するだろう。