凍結生成ポリシーを軽量適応するLP-DS、拡散政策の性能向上を提案

何が起きたか

研究者らは、凍結した生成ポリシーをノイズ空間で摂動させる軽量適応手法LP-DSを提案した。RoboMimic操作、OpenAI Gym locomotion、Adroit器用操作の各ベンチマークで、サンプル効率・成功率・報酬を改善し、報酬は従来ベースライン比で最大25%向上した。

詳細

LP-DSは、凍結された生成ポリシーの潜在ノイズ空間に摂動を学習し、デコード前に適用する。ラグランジュ信頼領域目的を用いて、下流の価値を最適化しつつ潜在事前分布からの乖離を制約する。評価では、拡散ポリシーに加え、フローマッチングバックボーン、大規模視覚言語行動モデル、実機Franka展開でも有効性を示した。

Key Facts

本紙の見方

本提案は、行動クローニングの分布シフト問題に対し、大規模生成ポリシーを凍結したまま軽量な摂動を学習する点で新規性がある。従来のRLファインチューニングは不安定でサンプル非効率だったが、LP-DSはノイズ空間に限定することで安定性を確保しつつ、性能向上を実現している。これは、生成ポリシーの表現力を保ちながら適応する実用的なアプローチとして位置づけられる。 業界構造への含意として、ロボット学習における基盤モデルの活用が進む中、凍結モデルを効率的に適応させる手法は、計算資源やデータの制約がある現場での導入障壁を下げる可能性がある。特に、大規模VLAモデルへの適用が示されたことで、汎用ロボット制御への応用が期待される。 未確定の論点としては、実機展開での成功率や安全性、他のタスクや環境での汎化性能が挙げられる。また、摂動の学習に必要なデータ量や計算コストの詳細も不明であり、今後の検証が待たれる。

なぜ重要か

LP-DSは、生成ポリシーの凍結と軽量適応を両立する手法として、ロボット学習の実用化に寄与する可能性がある。特に、大規模モデルを効率的に活用する道を開く点で、今後の基盤モデル応用の方向性を示唆している。