VLAQuantBench：視覚言語行動モデルの訓練後量子化の閉ループ評価

本論文は VLAQuantBench を提案する。これは Vision-Language-Action (VLA) モデルに対する post-training quantization (PTQ) の閉ループ評価ベンチマークである。 - 409 runs、94,574 simulation episodes からなる制御された評価を実施。 - LIBERO 上で4モデルを評価し、X-VLA は追加で3つの simulation benchmark families でも評価。 - 層スコープ、数値フォーマット、calibration の相互作用を考慮した精度選択の必要性を示す。 - code、configurations、episode records は公開されている。

先行研究と比べて、VLA モデルの PTQ を閉ループで体系的に評価する点が新しい。 - 従来は個別の PTQ 手法や単一モデルでの評価が中心だったが、本論文は複数モデル・複数ベンチマークで大規模に比較。 - 層スコープの拡大が成功率を大きく改善する例 (π_{0.5} で 7.0% から 70.5%) を定量的に示す。 - calibration の有無やレシピの違いがモデルごとに異なる影響を与えることを明らかにし、普遍的な層感度ルールではなく具体的な精度割り当てを特定。 - real-kernel と physical-robot 測定も補完している点が先行研究と異なる。

技術や手法の肝は以下の通り。 - post-training quantization (PTQ) を対象とし、W4A4 round-to-nearest quantization などの数値フォーマットを検討。 - 層スコープの拡大: π_{0.5} の action-head subset を 126 層から 167 層に拡大。 - calibration: 2-episode calibration を適用し、smoothing-and-clipping recipe の効果を検証。 - OpenVLA-OFT では 28,672-parameter の output projection を保護し、残りの 441 eligible linear layers に W3 や eight-bit activations を適用。 - fixed-observation replay で数値的な回復を確認。 - task-clustered intervals を用いた統計的分析。

有効性の検証は以下の方法で行われた。 - 409 runs、94,574 simulation episodes の大規模評価。 - LIBERO 上で4モデルを評価し、X-VLA は3つの simulation benchmark families でも評価。 - uncalibrated W4A4 round-to-nearest quantization で π_{0.5} の action-head subset 拡大により成功率が 7.0% から 70.5% に向上。 - fixed-observation replay で数値的回復を確認。 - 2-episode calibration が joint failures を除去することを確認。 - OpenVLA-OFT で output projection 保護により near-baseline success を回復。 - task-clustered intervals が failure と recovery の大きなコントラストを支持。 - real-kernel と physical-robot 測定も補完。

議論としては以下が挙げられる。 - レシピ依存の相互作用が存在し、普遍的な層感度ルールは特定できない。 - 同じ smoothing-and-clipping recipe が π_0 の成功率を低下させ、OpenVLA-OFT の end-to-end 回復には不十分。 - 具体的な精度割り当てを特定することの重要性を主張。 - 限界や今後の課題については要旨からは不明。

要旨で参照/比較されている研究や関連手法を挙げる。 - π_{0.5}、π_0、OpenVLA-OFT、X-VLA などの VLA モデル。 - LIBERO ベンチマーク。 - post-training quantization (PTQ)、W4A4 round-to-nearest quantization、W3、eight-bit activations。 - smoothing-and-clipping recipe。 - 同分野の定番として、VLA モデル全般や PTQ 手法 (例: GPTQ、AWQ など) が関連するが、要旨では明示されていない。