日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.20460

フローベースVLAモデルのための確率的自己蒸留

Stochastic Self-Distillation for Flow-Based Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチング型VLAの行動ヘッドをブラウン経路条件付けで確率的1ステップ方策に自己蒸留し、推論高速化とサンプル多様性向上を両立させてGRPO事後学習を効率化した研究。

詳しい要約

1. どんなもの?

- 本論文は、flow-based vision-language-action (VLA) モデルを対象とした手法 VLA-SSD を提案する。 - VLA-SSD は、事前学習済みの flow-matching action head を、Brownian path に条件付けられた single-jump generator を用いて確率的な one-step policy に自己蒸留する。 - これにより、推論遅延の削減とロールアウトの多様性向上を実現し、likelihood-ratio RL アルゴリズムによる効率的な post-training を可能にする。

2. 先行研究と比べてどこがすごい?

- 先行研究では、flow-based VLA モデルに対する on-policy reinforcement learning (RL) の適用が限られていた。 - 特に Group Relative Policy Optimization (GRPO) などの group-based RL 手法では、各ロールアウトステップに多段階の ODE 積分が必要で推論遅延が大きく、またサンプラーの確率性が低いためロールアウトグループの分散が小さくなる問題があった。 - VLA-SSD はこれらの問題を同時に解決し、推論遅延を大幅に削減しつつ、サンプルの多様性を向上させる点が新しい。

3. 技術・手法の肝は?

- 事前学習済みの flow-matching action head を、Brownian path に条件付けられた single-jump generator を用いて確率的な one-step policy に自己蒸留する。 - この確率的 one-step policy から条件付き行動密度を導出し、likelihood-ratio RL アルゴリズムによる効率的な post-training を可能にする。 - 具体的には、GRPO などの group-based RL において、ロールアウトの多様性を高め、推論コストを削減する。

4. どうやって有効だと検証した?

- π0 VLA から VLA-SSD を蒸留することで、action head の forward-pass 時間を 7.7 倍に短縮した。 - その代償として、LIBERO ベンチマークにおける成功率が相対的に 5.5% 低下した。 - しかし、VLA-SSD の group generation におけるサンプル多様性の増加を活用し、π0.5 VLA を GRPO で post-training することで、相対的に 20.6% の改善を得た。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究として、Group Relative Policy Optimization (GRPO)、π0 VLA、π0.5 VLA、LIBERO ベンチマークが挙げられる。 - 関連手法として、flow-matching action head や likelihood-ratio RL アルゴリズムに関する論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingru Guo, Alessandra Russo, Joey Bose, Christos Ziakas

分類: cs.RO

原文アブストラクト

Flow-based vision-language-action (VLA) models achieve strong performance in robotics through imitation learning, yet fine-tuning them with on-policy reinforcement learning (RL) is limited. In group-based RL methods like Group Relative Policy Optimization (GRPO), every rollout step requires multi-step ODE integration, and the sampler's limited stochasticity leads to rollout groups with low variance. We propose VLA-SSD, which addresses both high inference latency and limited stochasticity. In particular, our method self-distills a pretrained flow-matching action head into a stochastic one-step policy by conditioning a single-jump generator on a Brownian path. We derive a conditional action density via our stochastic one-step policy, enabling efficient post-training via likelihood-ratio RL algorithms. We show that distilling VLA-SSD from the $π_0$ VLA reduces the action head's forward-pass time by a factor of 7.7, at the cost of a 5.5% relative decrease in the success rate on the LIBERO benchmark. However, by leveraging the increased sample diversity of VLA-SSD during group generation, post-training a $π_{0.5}$ VLA using GRPO yields a 20.6% relative improvement.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI