VLA推論時間はどこで消費されるのか？GPU間のボトルネックと最適化の相互作用

- VLA（Vision-Language-Action）モデルの推論時間がどこで消費されるかを測定する包括的実測研究。 - 7系統の推論最適化手法（CUDA graphs、compilation、token pruning、quantization 等）を、7つの state-of-the-art VLA と4つの GPU family（datacenter H100 から embedded Jetson Thor まで）で評価。 - CPU launch overhead、memory bandwidth、kernel efficiency が最適化効果をどう規定するか、また一手法の適用が他手法の利得をどう変えるかを分析。 - その分析から、latency budget 下で最適化を積み重ねるためのガイドライン VLA-Triage を導出。

- 先行研究では最適化結果が単一 GPU 種別・少数 VLA モデルで報告されることが多く、実ボトルネックの分析や他設定への一般化が欠けていた。 - 本研究は7手法×7 VLA×4 GPU family という広い組み合わせで測定し、手法間の相互作用まで扱う点が異なる。 - CPU launch overhead・memory bandwidth・kernel efficiency の三要素が最適化利得を共に規定することを示す分析を提供。 - 単一手法の効果報告ではなく、latency budget 下での最適化スタッキング指針 VLA-Triage を導出する点が新しい。

- 7系統の推論最適化手法を体系的に比較する measurement study を実施。 - 対象は CUDA graphs、compilation、token pruning、quantization などを含む。 - 7つの state-of-the-art VLA を、H100 から Jetson Thor までの4 GPU family 上で評価。 - CPU launch overhead、memory bandwidth、kernel efficiency の観点から利得を分解し、一手法適用が他手法の便益をどう変えるかを分析。 - 分析結果を VLA-Triage として、latency budget 下でどの段階が削減量を提供し、どの組合せを実 deployment の execution mode で検証すべきかに整理。

- 7手法×7 VLA×4 GPU family の実測により、各最適化の利得とボトルネックを評価。 - CPU launch overhead、memory bandwidth、kernel efficiency が最適化利得をどう規定するかを分析。 - 手法間の相互作用（一手法が他手法の利得を変える効果）を測定。 - 得られた分析から VLA-Triage ガイドラインを導出。 - 個々の最適化の絶対性能やロボット実時間要件への適合度に関する定量的な検証詳細は要旨からは不明。

- 最適化結果は単一 GPU・少数モデルでの報告が多く、一般化や実ボトルネック分析が不足しているという問題意識を提示。 - CPU launch overhead、memory bandwidth、kernel efficiency が複合的に最適化利得を形作ることを議論。 - 一手法の適用が他手法の便益を変化させるため、組合せの検証が必要であると指摘。 - latency budget 下でどの段階が削減を担い、どの組合せを deployed execution mode で試すべきかを VLA-Triage として整理。 - 個別手法の限界や失敗条件の詳細は要旨からは不明。

- 要旨で参照/比較されている個別手法：CUDA graphs、kernel compilation、token pruning、quantization、pruning。 - 評価対象の VLA モデル群や GPU family（H100、Jetson Thor 等）に関する各モデル・ハードウェアの原論文。 - VLA 推論高速化の関連研究として、eager mode に対する CUDA graphs 適用や kernel compilation の研究。 - token pruning や quantization を VLA に適用した個別研究。 - 具体論文名は要旨からは不明。