VLA2026/9/12arXiv:2609.14146

VLA展開の高速化が閉ループ挙動を変える：PyTorchとONNX変種におけるSmolVLAのタスク成功率-遅延分析

When Faster VLA Deployment Changes Closed-Loop Behavior: Task Success-Latency Analysis of SmolVLA Across PyTorch and ONNX Variants

シェア:X Threads Facebook LINE はてブ Bluesky

SmolVLAをPyTorchとONNXで展開し、遅延とタスク成功率を比較。ONNXは高速だが空間タスク成功率が低下し、言語コンテキスト幅が影響することを示した。

詳しい要約

1. どんなもの？

- HuggingFaceVLA/smolvla_libero を RTX 2060 (6 GB) 上で LIBERO Spatial と Object に展開し、PyTorch+AMP と ONNX Runtime CUDA EP を比較した研究。 - 推論レイテンシと closed-loop タスク成功率の両方を評価。 - 主評価は 100 episodes/suite、paired rollout は 300 episodes/suite。 - MuJoCo 3.3.2、LeRobot 0.6.1、seed 42 を使用。

2. 先行研究と比べてどこがすごい？

- 従来の VLA 展開研究はレイテンシ削減を主眼に置きがちだが、本研究は closed-loop 挙動の変化も同時に報告。 - PyTorch+AMP の Spatial/Object 成功率 70.0%/88.0%、p99 1181 ms に対し、ONNX の requested-FP16/INT8 は p99 601/532 ms に短縮。 - しかし Spatial 成功率は 41.0%/40.0% に低下し、Object は 89.0% を維持。 - 速度向上が必ずしもタスク成功を保たないことを定量的に示した点が新しい。

3. 技術・手法の肝は？

- PyTorch+AMP と ONNX Runtime CUDA Execution Provider (CUDA EP) を同一条件で比較。 - requested-FP16 と requested-INT8 の ONNX 成果物を評価。 - graph audit により成果物が byte-identical FP32 graphs であることを確認。 - static language-width ablation (16/24/32 tokens) を実施。 - 成功率は Wilson intervals と two-proportion chi-squared で検定。

4. どうやって有効だと検証した？

- LIBERO Spatial と Object で 100 episodes/suite、paired rollout で 300 episodes/suite を評価。 - PyTorch+AMP: Spatial 70.0%、Object 88.0%、p99 1181 ms。 - requested-FP16 ONNX: Spatial 41.0%、Object 89.0%、p99 601 ms。 - requested-INT8 ONNX: Spatial 40.0%、Object 89.0%、p99 532 ms。 - language-width 16/24/32 で Spatial 41.0%/75.0%/71.0%。 - width-24 ONNX は PyTorch+AMP と同等の Spatial 成功率で約半分のレイテンシ (Wilson intervals overlap、p=0.53)。

5. 議論はある？

- requested-INT8 行は operator-level INT8 quantization ではなく、byte-identical FP32 graphs であった。 - context width はこのスタックで重要な寄与因子だが、PyTorch-vs-ONNX の差の全てを説明しない。 - 展開評価では latency、artifact inspection、interface constraints、closed-loop success を併記すべきと主張。 - 一般化可能性や他ハードウェアでの挙動は要旨からは不明。

6. 次に読むべき論文は？

- HuggingFaceVLA/smolvla_libero - LIBERO Spatial / Object - LeRobot 0.6.1 - MuJoCo 3.3.2 - ONNX Runtime CUDA Execution Provider (CUDA EP) - PyTorch+AMP - Wilson intervals / two-proportion chi-squared - 関連手法として VLA 展開・量子化・closed-loop 評価の定番研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rafiqul Islam

分類: cs.RO, cs.LG

原文アブストラクト

Vision-language-action (VLA) deployment can reduce inference latency while changing closed-loop task behavior. We evaluate HuggingFaceVLA/smolvla_libero on an RTX 2060 (6 GB) in LIBERO Spatial and Object (MuJoCo 3.3.2, LeRobot 0.6.1, seed 42), comparing PyTorch+AMP with ONNX Runtime CUDA Execution Provider (CUDA EP). The main evaluation uses 100 episodes/suite; a paired rollout uses 300 episodes/suite. PyTorch+AMP reaches 70.0%/88.0% Spatial/Object success at 1181 ms p99. Requested-FP16 and requested-INT8 ONNX reduce tether-inspect p99 to 601 ms and 532 ms, while Spatial success falls to 41.0% and 40.0% and Object remains at 89.0%. A graph audit shows those artifacts are byte-identical FP32 graphs, so the requested-INT8 row is not operator-level INT8 quantization. A static language-width ablation (16/24/32 tokens) yields Spatial success of 41.0%, 75.0%, and 71.0%; widths 24 and 32 recover much of the Spatial drop while Object success and uniform-bench latency stay approximately stable. Width-24 ONNX Spatial success is comparable to the PyTorch+AMP baseline at roughly half the latency (Wilson intervals overlap; two-proportion chi-squared p=0.53). Context width is an important contributor in this stack; it does not account for every PyTorch-vs-ONNX difference. Deployment evaluation should jointly report latency, artifact inspection, interface constraints, and closed-loop success. Code: https://github.com/rafiqul713/smolvla-libero-onnx.

arXivで原文を読む →arXiv概要ページ