VLA-HWBench、エッジ推論の遅延を7段階で比較

何が起きたか

arXiv掲載論文「VLA-HWBench」は、18のオープンVLAモデルをNVIDIA Jetson AGX ThorとAMD Ryzen AI Max+ PRO 395でベンチマークした。推論処理を7段階に分けた評価では、遅延の差はJetsonで最大82倍、AMDで最大157倍となり、モデルのパラメーター数が説明する遅延の分散は最大15%だった。論文は、モデル規模より行動生成方式が遅延に強く影響すると報告している。

詳細

評価では公開済みのバックエンドに加え、代替バックエンドも比較した。長い行動チャンクを少ないフローマッチング反復で生成するモデルは制御に追随できた一方、トークンを逐次生成する方式は追随できなかったと論文は述べる。 カーネル融合と4ビット重みを組み合わせた実装では、Jetson上のπ₀.₅とGR00T N1.7が、torch.compileを使うPyTorchより2.6〜2.9倍高速だった。この最適化があるのは同2モデルのJetson実装に限られる。また、GR00T N1.7では最適化後、CPU前処理が1回の推論時間に占める割合が12%から39%に増加した。論文は、Jetsonではデノイジングなど少数トークンを扱う段階でメモリー帯域が制約になる一方、他の段階ではカーネルやホストCPU上の逐次処理などソフトウェア面の制約が残るとしている。

Key Facts

本紙の見方

この研究の焦点は、VLAの性能をタスク成功率だけで測る評価から、ロボット上で閉ループ制御を妨げる推論時間の内訳へ移した点にある。18モデルを同じ2種類のエッジ機器で比較し、7段階に分けたことで、モデルの大きさだけでは実行速度を説明できないことを示した。遅延差がJetsonで82倍、AMDで157倍に達し、パラメーター数の説明力が最大15%だったという結果は、モデル選定を規模や成功率だけで行うと、実機上の応答性を見誤り得ることを示唆する。 より重要なのは、行動をどう出力するかがモデル規模より強く効いたという点だ。少ないフローマッチング反復で長い行動チャンクを生成する方式と、トークンを一つずつ生成する方式では、制御に追随できるかが分かれた。これは、VLAの実装評価で「何を予測できるか」に加え、「一度の推論で何ステップ分の行動を作るか」を比較軸に置く必要があることを示す。ただし、論文の要約から確認できるのはベンチマーク上の遅延と制御への追随であり、異なる実機・タスクで同じ傾向が成立する範囲までは確定できない。 最適化の効果にも適用範囲がある。カーネル融合と4ビット重みはJetson上のπ₀.₅とGR00T N1.7で2.6〜2.9倍の高速化を示したが、論文が評価した対応先は2モデル・1プラットフォームに限られる。さらにGR00T N1.7ではCPU前処理の比率が12%から39%へ上がった。これは処理全体が一様に速くなるのではなく、短縮した段階以外が相対的に目立つようになることを示す。したがって、特定カーネルの最適化だけで全体遅延を評価せず、前処理を含む段階別計測を続けることが実装上の論点となる。 ハードウェア選定にも一律の答えはない。論文によれば、Jetsonではデノイジングなど少数トークンを扱う段階でメモリー帯域が制約となる一方、それ以外では未融合カーネルやホストCPUの逐次前処理などソフトウェア側の制約が残る。つまり、帯域を高めるだけでは改善しない段階があり、モデルの行動生成方式、実行ソフトウェア、ホストCPUを一体で見る必要がある。今後確認すべきなのは、カーネル融合や低ビット重みが他モデル・他プラットフォームにどこまで展開できるか、また7段階の遅延特性が実際のロボット制御条件でも再現するかである。これらは要約に示された研究結果だけでは判断できない。

なぜ重要か

論文の評価では、モデルのパラメーター数より行動生成方式が遅延に強く影響し、最適化後にはCPU前処理の比率が増えた。エッジ上でVLAを制御に使う開発者にとって、モデル単体の規模や最適化箇所だけでなく、行動生成方式と推論全段階の時間を合わせて評価する必要性を示す結果である。