日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.21522

フローベース視覚言語行動モデルのためのマルチティーチャー・オン・ポリシー蒸留

Multi-Teacher On-Policy Distillation for Flow-Based Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

複数の専門家VLAモデルの知識を、生徒モデル自身が生成する行動軌跡上で速度監督する2段階オン・ポリシー蒸留により、1つの共有ポリシーへ統合する手法を提案した。

詳しい要約

1. どんなもの？

複数の専門特化した vision-language-action (VLA) ポリシーを、1つの共有ポリシーに統合するための手法。flow-based VLA 向けに、student が生成する環境観測と action flow 軌跡の両レベルで on-policy distillation (OPD) を行う。frozen な domain specialist 群が1つの student を共同監督し、各更新後に student が新たな環境経験と action-flow 軌跡を生成する。

2. 先行研究と比べてどこがすごい？

従来の OPD は student が誘起する入力上で teacher 知識を転移し分布ずれを緩和するが、flow-based VLA では環境観測と中間 action 生成状態の2レベルでずれが生じる。提案法はこの2レベルを同時に扱う。Action Loss OPD や Teacher-rollout SFT と比べ、LIBERO-40 で 6.4-9.5%、CALVIN で 9.7-18.3%、Meta-World MT50 で 3.2-4.2% の絶対成功率改善。

3. 技術・手法の肝は？

2レベルの on-policy distillation フレームワーク。student 駆動の環境相互作用と、student が生成した action flow 軌跡に沿った teacher velocity supervision を結合する。frozen な domain specialist 群が1つの student を共同監督。各更新後に student が新たな環境経験を収集し、新たな action-flow 軌跡を生成する。joint supervised fine-tuning (SFT) 初期化から開始し、Velocity Loss OPD を用いる。

4. どうやって有効だと検証した？

LIBERO-40、CALVIN five-instruction sequences、Meta-World MT50 で評価。Velocity Loss OPD は joint SFT 初期化から、LIBERO-40 で 22.55%、CALVIN で 33.4%、Meta-World MT50 で 22.6% の絶対成功率向上。Action Loss OPD と Teacher-rollout SFT に対し、LIBERO-40 で 6.4-9.5%、CALVIN で 9.7-18.3%、Meta-World MT50 で 3.2-4.2% の絶対成功率改善。系列長別分析では長い CALVIN 系列でより大きな成功率向上。

5. 議論はある？

2レベルの on-policy supervision による効果的なマルチドメイン能力統合を示し、単一 student を複数ドメインに展開可能。系列長が長いほど成功率向上が大きい。要旨からは、計算コストや teacher 数増加時の挙動、他タスクへの汎化性についての議論は不明。

6. 次に読むべき論文は？

要旨で参照/比較されている Action Loss OPD、Teacher-rollout SFT、on-policy distillation (OPD)、flow-based VLA、supervised fine-tuning (SFT)。関連する基盤として LIBERO-40、CALVIN、Meta-World MT50 の各ベンチマーク論文も次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lichao Ni, Yuhan Liu, Pengfei Li, Guanghuan Fang

分類: cs.RO

原文アブストラクト

Specialized vision-language-action (VLA) policies acquire strong domain-specific skills, yet consolidating these skills into one shared policy remains challenging. On-policy distillation (OPD) transfers teacher knowledge on inputs induced by the student, addressing the distribution mismatch encountered during deployment. For flow-based VLAs, this mismatch arises at two levels: environment observations and intermediate action-generation states. We propose a two-level on-policy distillation framework that couples student-driven environment interaction with teacher velocity supervision along student-generated action flow trajectories. Frozen domain specialists jointly supervise one student. After each update, the student collects new environment experience and generates fresh action-flow trajectories. Starting from a joint supervised fine-tuning (SFT) initialization, Velocity Loss OPD yields absolute success-rate gains of 22.55% on LIBERO-40, 33.4% on CALVIN five-instruction sequences, and 22.6% on Meta-World MT50. Compared with Action Loss OPD and Teacher-rollout SFT, it achieves absolute success-rate gains of 6.4-9.5% on LIBERO-40, 9.7-18.3% on CALVIN, and 3.2-4.2% on Meta-World MT50. Analysis by sequence length further shows larger success-rate gains on longer CALVIN sequences. These results demonstrate effective multi-domain capability consolidation through two-level on-policy supervision, with a single student deployed across domains.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI