REPAIR、強化学習の専門制御をVLAに蒸留　実ロボット6タスクで成功率100%

何が起きたか

arXiv掲載論文は、強化学習（RL）専門家の能力を単一のフローマッチング型Vision-Language-Action（VLA）ポリシーへ移す手法「REPAIR」を提案した。実ロボット6タスクで各30回評価し、全タスクで成功率100%を達成したと報告した。全6タスクで、専門家が補助する実行よりエンドエフェクターの平均ジャークも低かった。

詳細

REPAIRは、重要局面の観測ごとに対応するRL専門家へ複数の行動候補を問い合わせ、専門家の価値関数（critic）で重み付けして教師分布を作る。共通の重み付きフローマッチング目的関数を使い、まず専門家の補助を受けた実行から得た観測で学習し、その後、VLA自身の実行で集めた観測を使ってオンポリシーで調整する。 オンポリシー収集時には専門家は教師信号を提供するが、制御権は持たない。論文によると、導入時には専門家を取り除く。著者らは、専門家の行動を直接模倣すると動作の揺れを再現したり、VLA自身の実行で遭遇する状態への準備が不足したりする可能性を課題として挙げた。

Key Facts

本紙の見方

この研究の焦点は、精密局面だけを補うRL専門家を実行時にも併用する構成から、その能力を単一のVLAへ移す点にある。論文が示す評価では6タスクすべてで成功率100%、各タスク30回の試行で、専門家補助実行より平均エンドエフェクタージャークが低かった。したがって、成否だけでなく動作の滑らかさも比較軸に置いた結果と読める。ただし、これは論文が報告した特定の評価条件での結果であり、他のタスクや環境にそのまま一般化できるとは限らない。 技術面では、専門家の行動をそのまま教師にするのではなく、重要局面で複数候補を生成し、criticで重み付けした分布を学習対象にする。その後、専門家補助下の観測だけでなく、VLA自身が動いて得た観測でも調整する構成である。これは、模倣学習が専門家の実行状態に偏り、導入後にVLAが自ら作る状態への対応が弱くなり得るという、論文が示した課題に対する設計上の応答とみられる。専門家は学習時の評価・教師信号に使われ、オンポリシー収集では制御を担わず、導入時には除かれるため、複数制御器の切り替えを実行系に残さないことも狙いの一つである。 業界構造への含意は、性能向上を実行時の追加制御器ではなく、VLAの学習工程に組み込める可能性にある。専門家を稼働時に残さない設計が成立すれば、ロボット側の制御構成を単一ポリシーに寄せられる一方、学習時にはタスク別専門家とcritic、専門家支援・自己実行の両方から得る観測が必要となる。従って、導入時の構成簡素化と、学習データ・評価系の準備負担を分けて見る必要がある。結果の評価では、6タスクの内容やロボット機種、タスクごとの試行結果のばらつき、ジャークの測定条件、比較対象となった専門家補助実行の詳細が重要だが、提示された要約には記載がない。今後は、異なる環境や長期運用でも成功率と動作品質が保たれるか、また専門家を取り除いた後の失敗時対応をどう扱うかが確認点となる。

なぜ重要か

論文の評価では、実ロボット6タスクすべてで成功率100%を報告し、専門家補助実行より平均エンドエフェクタージャークも低かった。導入時に専門家を取り除く設計は、精密局面の補助を実行系に残さずVLAへ移すことを目指す点で、複数制御器の運用を避けたいロボット開発に関係する。ただし、報告された試行数とタスクの範囲を超える性能は示されていない。