ポリシーパッチを超えて：RL専門家を視覚-言語-行動ポリシーへ蒸留する

- Vision-language-action (VLA) policy は長期的な manipulation の非クリティカルな段階は扱えるが、短時間の precision-critical な段階で失敗する。 - 軽量な reinforcement learning (RL) specialist を併用すれば失敗を補えるが、deployment 時に補助 controller と switching mechanism が残る問題がある。 - 本研究は specialist の能力を単一の flow-matching VLA に転移することを目的とし、REPAIR という value-guided distillation framework を提案する。

- RL を VLA 全体に直接適用せず、軽量 RL specialist を活用する従来路線の利点を保ちつつ、deployment 時の補助 controller や switching mechanism を不要にする点が異なる。 - specialist rollout の直接 imitation は action jitter を再現し、VLA 自身の実行中に遭遇する状態に対応できないという先行手法の課題を指摘。 - offline initialization と on-policy refinement を組み合わせることで、この課題に対処する。

- REPAIR は value-guided distillation framework で、offline initialization と on-policy refinement を統合する。 - 各 critical-phase observation で対応する specialist に複数の action candidate を問い合わせ、その critic で重み付けして supervision distribution を構築する。 - 共有された weighted flow-matching objective により、まず specialist-assisted rollout の observation で VLA を訓練し、次に自身の実行で集めた observation で訓練する。 - on-policy collection 中は specialist が制御を担わず supervision のみを提供し、deployment 時には specialist を除去する。

- 6 つの real-robot task で、各 task 30 回の evaluation trial を実施。 - REPAIR は全 6 task で 100% success を達成。 - 全 task において specialist-assisted execution より低い mean end-effector jerk を示した。

- 要旨からは不明。 - ただし、specialist を deployment 時に除去できること、action jitter の低減、自身の実行分布での refinement が示されており、補助機構なしでの展開可能性が示唆される。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、flow-matching VLA、reinforcement learning (RL) specialist、imitation learning、value-guided distillation、on-policy refinement に関する論文を次に読むべき候補として挙げる。