日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.22146

FastVLA:タスク条件付き時間適応型視覚トークン圧縮による効率的なVision-Language-Actionモデル

FastVLA: Task-Conditioned and Temporally Adaptive Visual Token Compression for Efficient Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの推論効率を改善するため、タスクに応じて視覚トークンの重要度を評価し、時間的に適応的な圧縮率を設定する訓練不要のフレームワークを提案。シミュレーションと実機で遅延を削減しつつタスク成功率を維持する。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの推論効率化を目的とした visual token 圧縮フレームワーク FastVLA を提案。 - 各 timestep で高解像度・多視点画像から数百の visual token が生成され、transformer 計算と遅延を支配する問題に対処。 - training-free で task-aware かつ temporally adaptive な visual token 圧縮を実現。 - OpenVLA、OpenVLA-OFT、CogACT に適用し、LIBERO、SIMPLER、実機 Franka Research 3 で評価。

2. 先行研究と比べてどこがすごい?

- 既存の attention ベース token 圧縮は VLA 制御では不十分。 - 決定に重要な token は generic な visual saliency ではなくタスクに依存する点を指摘。 - token 予算はステップ間で大きく変動するため、静的指標・固定予算では計算浪費や制御-critical token の破棄が生じる。 - FastVLA は task-to-vision attention と適応的圧縮率でこれら課題に対処し、既存の plug-and-play token compression/pruning/reuse ベースラインと比較して同等以上の効率-性能トレードオフを達成。

3. 技術・手法の肝は?

- training-free な枠組み。 - 各ステップで task-to-vision attention により token 重要度をスコアリング。 - 重要度分布の uniformity を inverse-Simpson 指標で測定し、online sliding-window calibration を用いて圧縮率を適応的に設定。 - これによりタスク依存の decision-critical token を保持しつつ、ステップごとに token 予算を動的に調整。

4. どうやって有効だと検証した?

- OpenVLA、OpenVLA-OFT、CogACT を LIBERO と SIMPLER で評価。 - 実機 Franka Research 3 ロボットでも検証。 - シミュレーションで LLM-backbone FLOPs を 35-59% 削減、action latency を 9-32% 削減(1.09×-1.46× 高速化)しつつタスク成功率を維持。 - 実機で end-to-end latency を 20% 削減(1.25× 高速化)し、同等の成功率を達成。

5. 議論はある?

- 既存の plug-and-play token compression/pruning/reuse ベースラインと比較して、同等またはより良い効率-性能トレードオフを達成したと主張。 - ただし、圧縮率の適応的設定や inverse-Simpson 指標の限界、他タスク・他ロボットへの汎化性については要旨からは不明。 - 実機実験は Franka Research 3 のみで、より多様な実環境での検証は要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA - OpenVLA-OFT - CogACT - LIBERO - SIMPLER - 既存の plug-and-play token compression/pruning/reuse ベースライン(具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiuyi Xu, Chengyuan Qian, Zhengzhong Tu, Yang Sui, Yangming Shi

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models present a promising paradigm for general-purpose robot manipulation, but closed-loop deployment is often limited by inference efficiency: at each timestep, high-resolution, often multi-view images are encoded into hundreds of visual tokens that dominate transformer computation and latency. Token compression via attention is a natural solution but is challenging for VLA control because (1) decision-critical tokens are determined by the task, not generic visual saliency, and (2) the token budget varies substantially across steps, so static metrics and budgets waste computation or discard control-critical tokens. We introduce FastVLA, a training-free, task-aware, and temporally adaptive visual token compression framework. At each step, FastVLA scores token importance via task-to-vision attention and adaptively sets the compression rate from the importance-distribution uniformity, measured by an inverse-Simpson metric with online sliding-window calibration. We evaluate FastVLA on OpenVLA, OpenVLA-OFT, and CogACT across LIBERO and SIMPLER, and on a physical Franka Research 3 robot. In simulation, it reduces LLM-backbone FLOPs by 35-59\% and action latency by 9-32\% (a 1.09$\times$-1.46$\times$ speedup) while maintaining task success, achieving a comparable or better efficiency-performance trade-off than existing plug-and-play token compression/pruning/reuse baselines. On the real robot, it cuts end-to-end latency by 20\% (1.25$\times$ speedup) at comparable success. Code is available at https://github.com/jiuyixu25/FastVLA.

関連論文

PR本紙発行元 EmplifAI