日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.18372

視覚-言語-行動モデル:設計・学習・展開のライフサイクルサーベイ

Vision-Language-Action Models: A Life-Cycle Survey of Design, Training and Deployment

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルを設計・学習・展開のライフサイクルに沿って7軸で整理し、88件の研究と22モデルを分析したサーベイ。データ拡大やモデル規模の二極化などの傾向を示す。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの life-cycle サーベイ - web-pretrained な vision-language model を robot action 出力に適応させ、web knowledge を physical control に転移する領域を対象 - 2022年12月〜2026年10月の88件をレビュー - 主対象は manipulation と navigation、加えて humanoid control、world-action model、評価 - 設計・訓練・実装を7軸で整理 - 設計: inputs and memory、architecture、action output、intermediate predictions - 訓練: pretraining data、post-training - 実装: real-time execution - 22モデルを各軸で分析し、訓練データ・モデルサイズ・推論速度・ハードウェアを報告

2. 先行研究と比べてどこがすごい?

- 個別研究ではなく VLA を life cycle 全体で横断整理した点が特徴 - 4年弱で RT-2(最初の VLA)から、単一 consumer GPU で fine-tune 可能な open model、未知の家庭を清掃する proprietary generalist まで進展した経緯を俯瞰 - 22モデルの訓練データ・サイズ・推論速度・ハードウェアを比較分析 - VLA と world-action model(未来観測も予測)を比較 - benchmark スコアがほぼ完璧でも物体やカメラが少し動くと失敗する証拠をレビュー - 具体的な先行サーベイとの差分は要旨からは不明

3. 技術・手法の肝は?

- VLA の life cycle を7軸で分類する枠組み - (a) inputs and memory: モデルが何を観測するか - (b) architecture: pipeline の構成 - (c) action output: motor command の生成方法 - (d) intermediate predictions: reasoning step から future observation まで何を追加予測するか - (e) pretraining data: robot・web・human・simulated data の混合 - (f) post-training: 対象 robot への適応 - (g) real-time execution: robot に追従する速度維持 - この軸で88件を整理し、22モデルを詳細分析

4. どうやって有効だと検証した?

- 88件の文献レビューと22モデルの横断分析で trends を抽出 - (i) 訓練データの広がり: 約10,000時間の teleoperated robot data(π_0)から、23,000 community-collected episodes(SmolVLA)、20,000時間の egocentric human video(GR00T N1.7)へ - (ii) モデルサイズの分裂: 直近の多くは3-7 billion parameters、一方で consumer GPU で動く1 billion 未満の群も出現 - (iii) manipulation と navigation の両方を扱う generalist VLA(UniVLA、Qwen-VLA)の台頭 - benchmark スコアと実環境頑健性の乖離を示す証拠をレビュー

5. 議論はある?

- benchmark で near-perfect なスコアを持つ VLA が、物体やカメラが少し動くだけで失敗する証拠を提示 - 評価手法の妥当性や実環境への汎化に課題 - VLA と world-action model の比較を通じ future observation 予測の意義を議論 - 今後の研究課題(opening research questions)を提示 - 個々の課題の詳細や解決策は要旨からは不明

6. 次に読むべき論文は?

- RT-2(最初の VLA) - π_0(teleoperated robot data 約10,000時間) - SmolVLA(23,000 community-collected episodes、consumer GPU 向け) - GR00T N1.7(egocentric human video 20,000時間) - UniVLA、Qwen-VLA(generalist VLA) - world-action model 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Suvarna Kadam, Soran Parsa

分類: cs.RO, cs.AI, cs.ET, cs.LG

原文アブストラクト

Vision-language-action (VLA) models adapt web-pretrained vision-language models to output robot actions, so that web knowledge carries over to physical control. In under 4 years the field has moved from RT-2, the first VLA, to open models that fine-tune on a single consumer GPU and to proprietary generalists that clean unseen homes. This survey reviews 88 works from December 2022 to October 2026, mainly on manipulation and navigation, plus humanoid control, world-action models and evaluation. We follow a VLA through its life cycle, from model design to training and deployment, along seven axes. Model design covers (a) inputs and memory, what the model observes; (b) architecture, how its pipeline is built; (c) action output, how it produces motor commands; and (d) intermediate predictions, what else it predicts, from reasoning steps to future observations. Training covers (e) pretraining data, the mix of robot, web, human and simulated data, and (f) post-training, adaptation to the target robot. Deployment covers (g) real-time execution, keeping pace with the robot. We analyse 22 models on these axes and report their training data, model size, inference speed and hardware. Three trends emerge: (i) training data has broadened, from about 10,000 hours of teleoperated robot data ($π_0$) to 23,000 community-collected episodes (SmolVLA) and 20,000 hours of egocentric human video (GR00T N1.7); (ii) model sizes have split: most recent models have 3-7 billion parameters, while a new group under one billion runs on consumer GPUs; and (iii) generalist VLAs are emerging that handle both manipulation and navigation, such as UniVLA and Qwen-VLA. We also compare VLAs with world-action models, which predict future observations as well as actions. We review evidence that some VLAs with near-perfect benchmark scores fail when objects or the camera move slightly, and open up further research questions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI