日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.18207

リアルタイム視覚-言語-行動ポリシーのための強化学習

Reinforcement Learning for Real-Time Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

大規模VLAモデルの推論遅延による観測のずれを解消するため、遅い行動生成と速い反応的編集を分離し、強化学習でリアルタイム制御を可能にするフレームワークを提案。

詳しい要約

1. どんなもの？

- 大規模なpretrained Vision-Language-Action (VLA) モデルをベースに、Reinforcement Learning (RL) でファインチューニングする枠組み。 - リアルタイム制御を必要とする動的な実世界マニピュレーションに適用可能。 - 推論遅延による観測の陳腐化（distribution shift）を克服し、信頼性と性能を向上させる。 - EXPO-FTを拡張したReal-Time EXPO-FTを提案。 - 遅延のあるポリシーでも高い性能を発揮。

2. 先行研究と比べてどこがすごい？

- 従来の非同期ポリシー実行は主にimitation learningに基づき、訓練分布を超えて信頼性を高める仕組みがなかった。 - 本研究はRLファインチューニングを可能にし、リアルタイム制御要件を満たす。 - 遅延ポリシーと非遅延ポリシーを含む比較で、Kinetix benchmarkの10環境すべてで最高性能を達成。 - 実世界の動的タスクで、オンラインロボットデータを10分に制限しても平均性能を42%から97%に改善。 - 人間の介入なしで迅速かつサンプル効率の良い適応を実現。

3. 技術・手法の肝は？

- EXPO-FTを基盤とし、サンプル効率が良く信頼性の高いVLAファインチューニングをRLで行う。 - 遅いが表現力豊かな行動生成と、速く反応的な行動編集を分離。 - 大規模pretrained VLAが行動チャンクを提案（強いbehavior priorを活用）。 - 軽量なedit policyが最新の観測に条件付けられ、状態変化に応じて行動を編集する高速で反応的な意思決定を実行。 - これによりリアルタイムVLAポリシーのファインチューニングを可能にするRLフレームワークを実現。

4. どうやって有効だと検証した？

- Kinetix benchmarkで評価。遅延ポリシーが遅延・非遅延手法の中で10環境中10環境で最高性能を達成。 - 4つの動的な実世界タスク（robot object passing, ball balancing, table soccer kicking, dynamic object picking）で検証。 - オンラインロボットデータを10分に制限した条件下で、平均ポリシー性能を42%から97%に改善。 - 人間の介入なしで、困難な実世界ダイナミクスへの迅速でサンプル効率の良い適応を実証。

5. 議論はある？

- 要旨からは、手法の限界や失敗事例、計算コスト、スケーラビリティに関する議論は明示されていない。 - 遅延によるdistribution shiftの影響や、非同期実行の限界について言及。 - RLファインチューニングがリアルタイム制御要件を満たすことの重要性を主張。 - 具体的な議論や制約については要旨からは不明。

6. 次に読むべき論文は？

- EXPO-FT（本研究の基盤フレームワーク） - 非同期ポリシー実行に関する先行研究（imitation learningベースの手法） - Vision-Language-Action (VLA) モデルに関する研究 - Kinetix benchmark - リアルタイムロボット制御のためのRL手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

分類: cs.RO, cs.LG

原文アブストラクト

Reinforcement learning fine-tuning on top of large, pretrained Vision-Language-Action (VLA) models offers promise for highly reliable robot deployment. However, because of their scale, modern VLA models suffer from high inference latency, so the observation used to select an action is often stale by execution time, creating a distribution shift that can substantially degrade reliability and performance. Prior work has explored asynchronous policy execution to reduce the effect of latency, but these methods are mostly built on imitation learning and offer no mechanism for moving beyond the training distribution toward higher reliability. We close this gap by enabling RL fine-tuning that meets the real-time control requirements of dynamic real-world manipulation. Our approach builds on EXPO-FT, a framework for sample-efficient, reliable VLA fine-tuning with reinforcement learning, and decouples slow, expressive action generation from fast, reactive action edits: a large pretrained VLA proposes action chunks using its strong behavior prior, while a lightweight edit policy performs fast, reactive decision-making by editing actions in response to changes in state, conditioned on the latest observation. We instantiate this as Real-Time EXPO-FT, an RL framework for finetuning real-time VLA policies. On the Kinetix benchmark, Real-Time EXPO-FT enables a delayed policy to achieve the best performance among delayed and non-delayed methods in 10 out of 10 environments. On four dynamic real-world tasks, robot object passing, ball balancing, table soccer kicking, and dynamic object picking, with online robot data capped at 10 minutes, Real-Time EXPO-FT improves average policy performance from 42% to 97%, all without human intervention, demonstrating rapid, sample-efficient adaptation to challenging real-world dynamics. Website: https://pd-perry.github.io/real-time-expo-ft

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI