VLA-MOPD、複数タスクのVLA方策を統合するオンポリシー蒸留法を提案

何が起きたか

arXiv論文「VLA-MOPD: On-Policy Distillation for Multi-Task VLA Policy Consolidation」は2026年11月9日、複数タスクのVLA方策を統合する手法を発表した。タスク別の専門方策を固定教師として使い、共有方策が集めたロボットの軌跡上で蒸留する。LIBEROでは平均success-onceが75.4%から98.9%に上がり、終端動作を対象とする蒸留の98.15%を上回った。

詳細

VLA-MOPDでは、共有方策がロボットのロールアウトを集め、指示に応じて選ばれた固定教師に、訪問した各観測と中間のODE状態で問い合わせる。各フロー段階の遷移ターゲットを使い、有効なアクションチャンクをマスク付きの局所マッチング損失で学習する。別タスクの能力を保つため、参照方策項を任意で加えられる。 論文はRoboTwin 2.0の平均成功率が73.0%から89.3%に向上したと報告した。Piperロボットでは統合を2ラウンド行い、平均成功率が70.0%から90.0%になった。Spatial適応の条件を近づけた比較では、参照マッチングを使うとObjectスイートの低下は3.0ポイントで、使わない場合の13.2ポイントより小さかった。LIBEROでは各タスクにつき1軌跡から開始した。

Key Facts

本紙の見方

この研究の中心は、複数タスクの専門方策を一つの共有方策へまとめる際、教師の出力を軌跡の終端だけでなく、学生自身が訪れた観測とアクション生成途中の状態で対応づける点にある。論文が挙げる既存手法の課題は、混合タスク強化学習では軌跡単位の報酬から得る信用割当が疎になること、オフライン蒸留では学生が実際に訪れる観測を取り逃しうること、終端動作の蒸留では中間状態を監督しないことだ。VLA-MOPDは、学生の実行状態に沿って凍結した教師に問い合わせ、フローの各段階で局所的に学習する構成で、三つの課題に直接対応しようとしている。 評価値は、統合がベンチマーク上で成立する可能性を示す一方、結果の読み方は条件ごとに分ける必要がある。LIBEROの98.9%は平均success-onceで、比較対象の98.15%との差は0.75ポイントである。RoboTwin 2.0では平均成功率が73.0%から89.3%、Piperでは2ラウンド後に70.0%から90.0%となったが、これらは異なる評価環境・指標の結果であり、単純な優劣比較にはならない。特にPiperでの実機評価とベンチマーク値を分けて示したことは、手法の検証範囲を読むうえで重要だ。 タスク間の能力保持も、共有方策化の成否を左右する設計要素として示されている。Spatial適応の比較では、参照マッチングの有無でObjectスイートの低下が3.0ポイントと13.2ポイントに分かれた。これは、教師の行動を追うだけでは元のタスク能力が保たれない場合があり、保持用の参照項が別の役割を担うことを示唆する。ただし、この比較は抄録で「near-matched」とされる条件であり、あらゆるタスク構成で同じ差が出るとは限らない。 実装面では、教師方策の用意、指示に基づく教師の選択、ロボットでのロールアウト収集、フロー状態ごとの学習が一連の処理になる。したがって、単一モデルへの統合効果だけでなく、追加のロールアウトや教師問い合わせを含む運用コストも評価対象になるとみられる。次に確認したいのは、タスク数や教師数を増やした場合の性能、ロールアウト量と計算負荷、未学習タスクへの一般化、参照項の有無が他のタスク群で能力保持に及ぼす影響である。抄録に示された成功率だけでは、これらの条件や長期運用時の安定性までは判断できない。

なぜ重要か

タスク別のVLA方策を運用する側にとって、学生が実際に訪れた状態で教師の動作を学ぶ設計は、終端動作だけを蒸留する方式とは異なる統合手段となる。論文のLIBERO、RoboTwin 2.0、Piperでの結果は複数環境での評価を示すが、性能保持や運用コストはタスク構成・ロールアウト量などの条件と合わせて見る必要がある。