日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLA量子化arXiv:2611.05093

LoopQ: 量子化VLAモデルの公平な閉ループ評価

LoopQ: Fair, Closed-Loop Evaluation of Quantized Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

複数のポストトレーニング量子化手法を同一条件で比較する閉ループベンチマークを提案し、VLA特化手法が単純な汎用手法に劣ることを示した。

詳しい要約

1. どんなもの？

- VLA (Vision-Language-Action) モデル向け post-training quantization (PTQ) を公平に比較する closed-loop benchmark「LoopQ」を提案 - 同一 checkpoint・同一 layers・同一 engine 上で quantization 手法と kernel のみを変えて複数の PTQ を比較 - RTN, AWQ, GPTQ, ActQuant, QuantVLA を 4 つの VLA で評価 - LIBERO と LIBERO-plus で 180,000 以上の episode を使用 - NVIDIA H100, L4, Jetson AGX Thor 上でベンチマーク

2. 先行研究と比べてどこがすごい？

- 既存の VLA quantization 研究は、提案手法と類似・より単純な PTQ との比較が困難だった - LoopQ は同一条件で手法と kernel だけを変える closed-loop 評価を実現 - QVLA の報告結果を同一 layers で再比較し、4 つの公開 VLA-quantization release の再現性も検証 - 結果として VLA 特化 PTQ が汎用 baseline に劣ることを示した点が新しい - 標準 LIBERO では隠れる劣化を LIBERO-plus の paired perturbation で顕在化

3. 技術・手法の肝は？

- 同一 checkpoint・layers・engine を固定し、quantization 手法と kernel のみを変化させる比較設計 - RTN, AWQ, GPTQ, ActQuant, QuantVLA を対象 - 4 つの VLA を LIBERO と LIBERO-plus で評価 - H100, L4, Jetson AGX Thor 上で latency とメモリを計測 - profiling により compute-bound な backbone と memory-bound な action expert の挙動を分析

4. どうやって有効だと検証した？

- LIBERO と LIBERO-plus で 180,000 以上の episode を評価 - QVLA の報告結果を同一 layers で比較 - 4 つの公開 VLA-quantization release の再現性を検証 - H100, L4, Jetson AGX Thor の 3 ハードウェアでベンチマーク - 4-bit で RTN, AWQ, GPTQ が ActQuant, QuantVLA と同等以上、plain RTN が calibrated 手法に匹敵、plain AWQ が QVLA の報告成功に匹敵することを確認 - LIBERO で有意差なしの構成が LIBERO-plus で 1.5-4.3 point 低下することを確認

5. 議論はある？

- quantization はメモリ削減に確実に有効 (real low-bit で 2-3x) - 一方、VLA 特化 PTQ は単純な汎用 baseline に性能で劣る - 速度面は弱く、H100 batch 1 では quantized pi0.5 と OpenVLA-OFT がいずれも 16-bit より遅い (1.06-1.58x slower) - L4 の int8 kernel のみ 4-14% の改善、Thor は全 4-bit 構成で遅い - engine だけで latency が 2.1x 変化 - profiling では pi0.5 の quantized backbone は compute-bound、memory-bound な action expert は GPU 時間の 63%、パラメータの 13% を占め 16-bit のまま - 標準 LIBERO のみの評価では劣化を見落とす危険性

6. 次に読むべき論文は？

- QVLA (比較対象として報告結果を再検証) - ActQuant, QuantVLA (VLA 特化 PTQ として比較) - RTN, AWQ, GPTQ (汎用 PTQ baseline) - pi0.5, OpenVLA-OFT (評価対象 VLA) - LIBERO, LIBERO-plus (評価 benchmark)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Syed Umer Bukhari, Magnus Almgren, Ahmed Ali-Eldin

分類: cs.RO

原文アブストラクト

Post-training quantization (PTQ) for vision-language-action (VLA) models promises smaller and faster VLA deployments. However, when analyzing existing VLA quantization works, we realised that it is hard to reason about the performance of the suggested quantization method compared to existing, similar, or in many cases, simpler PTQ methods. We present LoopQ, a closed-loop benchmark that compares multiple quantization policies on the same checkpoint, layers and engine, varying only the method and the kernels. We evaluate RTN, AWQ, GPTQ, ActQuant and QuantVLA on four VLAs with more than 180,000 episodes of LIBERO and LIBERO-plus, compare against QVLA's reported results on the same layers, and benchmark whether the four public VLA-quantization releases can be reproduced. We benchmark the methods on an NVIDIA H100, an L4, and a Jetson AGX Thor. Our results show that while quantization reliably saves memory, 2-3x for real low-bit models, VLA-specific PTQ methods underperform compared to simpler generic baselines. At 4 bits, RTN, AWQ and GPTQ match or exceed ActQuant and QuantVLA, plain RTN matches the calibrated methods, and plain AWQ matches the success QVLA reports for itself. Standard LIBERO hides the losses that do exist: configurations with no significant LIBERO loss lose 1.5-4.3 points under paired LIBERO-plus perturbations. Speed is a weaker story. At batch 1 on the H100, no quantized pi0.5 or OpenVLA-OFT configuration is faster than its 16-bit model (1.06-1.58x slower on library kernels); only the L4 with int8 kernels gains (4-14%), the Thor is slower on every 4-bit configuration, and the engine alone changes latency by 2.1x. Profiling explains why: pi0.5's quantized backbone is compute-bound, while its memory-bound action expert, 63% of GPU time and 13% of the parameters, stays in 16 bits.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI