VLA向け低ビット量子化手法「SACQ」発表、GR00T N1.7で成功率93.85％

何が起きたか

arXivに2026年10月30日掲載された論文で、Vision-Language-Action（VLA）モデル向けの重み量子化手法「SACQ」を提案した。GR00T N1.7を使った評価では、言語・行動重み当たり1.5ビットで4つのLIBEROスイートの平均成功率93.85％を示し、モデルメモリーを4.83倍削減した。INT8活性化量子化と低精度アテンションを併用した条件では、成功率93.55％を保ち、BF16より1.51倍高速だった。

詳細

SACQは、入力統計と後段の感度を反映する役割別の二次指標でコードブックを適合させる。さらに、各層を圧縮したときの最終行動誤差の増加に基づく混合ビット配分と、二次誤差補償によるコードワード索引の再割り当て、復号後の行動に合わせたコードブックおよび行グループ尺度の較正を組み合わせる。 SimplERでは、言語・行動重み当たり2ビットの条件で、Visual Matchingの成功率が63.76％、Variant Aggregationが52.27％だった。論文が示すBF16の値はそれぞれ58.90％、53.45％である。

Key Facts

本紙の見方

今回の技術的な焦点は、VLAの重みを低ビット化する際、モデル全体の圧縮率だけでなく、最終的な行動への誤差を基準に圧縮を設計している点にある。論文によれば、従来の大規模言語モデル向けPTQ手法は、VLAに適用すると超低精度で性能が落ちる場合があり、下流の演算構造や行動への影響を明示的に扱わないことが課題だった。SACQはこの課題に対し、層ごとの量子化誤差を最終行動誤差に結び付ける設計を採る。単に全層を同じ精度に落とすのではなく、行動への影響に応じてビット数を配分する考え方が、手法の中心とみられる。 一方、コードブック適合、混合ビット配分、量子化後の補正は、既存のPTQを置き換える単一の処理ではなく、量子化前後をまたぐ複数段階の仕組みである。入力統計と後段感度を使う適合に加え、復号後の行動を較正対象にしており、誤差の評価対象を重みや中間層だけにとどめない。これは、ロボット向けモデルの圧縮を、パラメーターの表現効率だけでなくポリシー出力の維持と合わせて評価するアプローチと読める。ただし、論文要旨が示すのは特定ベンチマークでの評価であり、実機での動作を示したものではない。 数値の読み分けも必要だ。GR00T N1.7では1.5ビットでLIBEROの平均成功率93.85％、メモリー4.83倍削減を報告する一方、速度比較の1.51倍はINT8活性化量子化と低精度アテンションを併用した設定である。SimplERでは2ビットの結果が示され、二つの評価条件のうちVisual MatchingはBF16を上回る一方、Variant AggregationはBF16を下回る。したがって、提示された結果を一律の性能改善や、あらゆるタスクでの精度維持と解釈することはできない。低ビット化の効果は、モデル、タスク、併用する量子化設定ごとに検証する必要がある。 実装面で次に確認したいのは、評価に用いた計算機の構成、推論速度の測定条件、メモリー削減の算出範囲、評価試行数である。要旨にはこれらの詳細や実機ロボットでの結果は記載されていない。また、量子化処理に必要な計算・調整の負荷や、異なるVLAモデルへの適用結果も要旨からは判断できない。低メモリー環境への展開可能性を論じるには、成功率の数値に加えて、実際のハードウェア上での遅延、メモリー使用量、行動の安定性を同じ条件で確認することが論点となる。

なぜ重要か

VLAモデルはメモリー使用量がロボットへの展開を制約すると論文は説明し、SACQはGR00T N1.7で重み当たり1.5ビットとメモリー4.83倍削減を報告した。低メモリー環境での推論を検討する際の選択肢となり得るが、示された成功率はLIBEROとSimplERでの評価であり、実機での性能を直接示すものではない。