VLA/エッジ推論ベンチマーク2026/10/26arXiv:2610.34717

VLA-HWBench：エッジハードウェアでVLAモデルを動かすとき時間はどこへ消えるのか

VLA-HWBench: Where the Time Goes When VLA Models Run on Edge Hardware

18個のオープンVLAモデルをJetson ThorとAMD Ryzen AIで7段階に分けて推論計測し、行動生成戦略がモデルサイズより支配的で、カーネル融合と4bit量子化が有効な一方CPU前処理が相対的に増大することを示したベンチマーク研究。

詳しい要約

1. どんなもの？

- VLA (Vision-Language-Action) モデルを edge デバイス上で実時間推論する際の latency 構造を分析する benchmark 研究 - 18 個の open VLA モデルを NVIDIA Jetson AGX Thor と AMD Ryzen AI Max+ PRO 395 上で評価 - 推論を 7 段階 (seven-stage) に分解し、released backend と alternative backend を比較 - タスク成功率ではなく latency の内訳と最適化効果に着目

2. 先行研究と比べてどこがすごい？

- 従来の VLA 研究は主に task success のみを報告 - 先行研究は action-generation 戦略の範囲が限定的で、推論を最大 3 段階にしか分割していない - 同一モデル上での推論最適化の比較が欠けていた - 本研究は 7 段階分解と 18 モデル・2 プラットフォームの比較でこの gap を埋める

3. 技術・手法の肝は？

- 18 個の open VLA モデルを released/alternative backend で実行し 7 段階に推論を分解して計測 - action-generation 戦略 (long action chunk + few flow-matching steps 対 token-by-token decoding) の影響を比較 - kernel fusion と 4-bit weights の最適化効果を PyTorch + torch.compile と比較 - latency 分散の要因分析 (parameter count、memory bandwidth、CPU preprocessing 等) を実施

4. どうやって有効だと検証した？

- Jetson AGX Thor と AMD Ryzen AI Max+ PRO 395 の 2 プラットフォームで計測 - Jetson 19 構成中 14 で action-generation 戦略が支配的と確認、latency は Jetson で 82x、AMD で 157x 変動 - parameter count は latency 分散の最大 15% しか説明しないと定量化 - kernel fusion + 4-bit weights で π_{0.5} と GR00T N1.7 が PyTorch + torch.compile 比 2.6–2.9x 高速化 - 最適化後も GR00T N1.7 の CPU preprocessing が 12% から 39% に増加することを観測

5. 議論はある？

- 低 latency edge VLA には action-generation iteration を少なくすべき - 推論 software は kernel fusion と low-bit weights をより多くのモデル・プラットフォームへ拡張すべき (現状は 2 モデル・Jetson のみ) - edge hardware には高い memory bandwidth と高速な host CPU が必要 - 最適化は短縮しにくい段階へ時間を移すため、CPU preprocessing 等の software 側ボトルネックが残る - Jetson では denoising 等の少 token 段階のみ memory bandwidth 律速、他は software 律速

6. 次に読むべき論文は？

- π_{0.5} および GR00T N1.7 の原論文 (kernel fusion + 4-bit weights の対象) - flow-matching ベースの action chunk 生成手法 (few-step 推論) - PyTorch の torch.compile および kernel fusion に関する最適化研究 - NVIDIA Jetson AGX Thor 上の edge 推論 benchmark 研究 - VLA の closed-loop robot control における latency と制御周期の関係を扱う研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Borui Xu, Hongshi Tan, Wenqi Jiang, Bingsheng He, Ming Wu, Jason Zeng, Michael Heinrich

分類: cs.RO, cs.AI

原文アブストラクト

Vision--language--action (VLA) models increasingly run on edge devices aboard robots, where inference latency constrains closed-loop robot control. However, it remains unclear how to design VLA models, their inference software and edge hardware so that robots can run VLA inference in real time. Most VLA models report only task success, while prior studies cover limited action-generation strategies, divide inference into at most three stages, and lack comparisons of inference optimizations on the same models.benchmarking 18 open VLA models across released and alternative backends on NVIDIA Jetson AGX Thor and AMD Ryzen AI Max+ PRO 395, with a seven-stage inference breakdown. Our study reveals three insights. First, action-generation strategy matters more than model size. It dominates 14 of 19 Jetson configurations, latency varies by $82\times$ on Jetson and $157\times$ on AMD, and parameter count explains at most 15% of latency variance. Models that generate long action chunks in a few flow-matching steps keep up with control, whereas token-by-token decoding does not. Second, kernel fusion with 4-bit weights helps most, running $π_{0.5}$ and GR00T N1.7 2.6--2.9$\times$ faster than PyTorch with \texttt{torch.compile}, but it exists for only these two models and only on the Jetson. Optimization also moves the time to the stages it shortens least, as CPU preprocessing grows from 12\% to 39\% of the GR00T N1.7 call. Third, after optimization, memory bandwidth limits only the stages that process few tokens on the Jetson, such as the denoising steps, whereas software limits all other stages, from unfused kernels to serial preprocessing on the host CPU. Overall, low-latency edge VLAs should use few action-generation iterations, inference software should extend kernel fusion and low-bit weights to more models and platforms, and edge hardware needs high memory bandwidth and a fast host CPU.

arXivで原文を読む →arXiv概要ページ

← 論文一覧