SmolVLAのONNX展開で遅延は短縮、空間タスク成功率は低下　arXiv論文が比較

何が起きたか

arXivに2026-09-12付で掲載された論文「When Faster VLA Deployment Changes Closed-Loop Behavior: Task Success-Latency Analysis of SmolVLA Across PyTorch and ONNX Variants」は、HuggingFaceVLA/smolvla_liberoをRTX 2060（6 GB）上で評価し、PyTorch+AMPとONNX Runtime CUDA Execution Provider（CUDA EP）を比較した。主評価は各スイート100エピソード、ペア比較は各スイート300エピソードで実施した。ONNXのrequested-FP16とrequested-INT8はtether-inspectのp99遅延を601 ms、532 msに下げた一方、Spatial成功率は41.0%、40.0%に低下した。

詳細

PyTorch+AMPではSpatial/Objectの成功率が70.0%/88.0%、p99遅延が1181 msだった。論文は、requested-FP16とrequested-INT8のONNXグラフがバイト単位で同一のFP32グラフであり、requested-INT8は演算子レベルのINT8量子化ではないと示した。さらに、静的な言語幅のアブレーションでは16/24/32トークンでSpatial成功率が41.0%、75.0%、71.0%となり、24と32ではSpatial低下の多くを回復した一方、Object成功率とuniform-benchの遅延はおおむね安定していた。幅24のONNXは、Wilson区間が重なり、二標本比率のカイ二乗検定でp=0.53とされ、PyTorch+AMPベースラインに近いSpatial成功率をほぼ半分の遅延で示したとしている。

Key Facts

本紙の見方

この論文の新しさは、VLAの展開方式を単なる推論高速化の話としてではなく、閉ループの成功率と遅延の両方で評価した点にある。PyTorch+AMPからONNX Runtime CUDA EPへ移しただけで、tether-inspectのp99は1181 msから601 ms、さらに532 msまで下がる一方、Spatial成功率は70.0%から41.0%前後へ落ちた。つまり、計算グラフの実行系を変えることが、ロボットの行動結果そのものを変えうるという論点を、具体的な数値で示した形である。 論文中では、requested-FP16とrequested-INT8のONNXグラフがバイト単位で同一のFP32グラフだとされ、少なくともこの実験では「INT8化」のラベルが性能差の説明になっていない。ここは、量子化や精度指定の名称だけでは実装実体を判断できないという点を突いている。また、言語幅16/24/32トークンのアブレーションでSpatial成功率が41.0%、75.0%、71.0%と動いたことから、遅延差だけでなくコンテキスト幅が閉ループ挙動に効くことも見えている。24トークンでPyTorch+AMPに近い成功率をほぼ半分の遅延で示したという結果は、速度と精度の単純なトレードオフではなく、制約付きの再設計余地があることを示唆する。 ただ、業界構造への含意としては、VLAの比較軸がモデル精度だけでなく、ランタイム、グラフ検査、入出力インターフェース、閉ループ成功率に分かれていく点が重要である。開発側は、PyTorch系とONNX系のどちらを採るかで同じモデル名でも挙動が変わる可能性を前提に、デプロイ段階の検証設計を組み直す必要がある。未確定の論点は、他のモデルや他タスクでも同じ傾向が再現するか、また今回の差がどの演算子やインターフェース制約に由来するかである。

なぜ重要か

VLAをロボット制御に使う場合、推論遅延を縮めても閉ループ成功率が落ちれば実用性は下がる。この論文は、PyTorch+AMPとONNX Runtime CUDA EPで遅延と成功率が同時に動くことを示しており、デプロイ方式の選定が評価項目の一部ではなく中核になることを示唆する。

日本への影響

日本のロボット開発でも、モデル精度だけでなく実行系やコンテキスト幅を含めた評価が必要になる。とくに、実機制御で閉ループ成功率と遅延の両立を見ないまま最適化すると、同じモデルでも運用時の挙動が変わる可能性がある。