構造認識型コードブック量子化による超低ビットVLAモデル

- Vision-Language-Action (VLA) モデルはロボット行動を実現するが、メモリフットプリントが大きくリソース制約のあるロボットプラットフォームでの展開を妨げる。 - 重み量子化は自然な対策だが、大規模言語モデル由来の post-training quantization (PTQ) レシピは ultra-low precision の VLA では劣化する。 - 既存の low-bit PTQ は下流演算の構造を明示的に考慮せず、policy actions への影響を考えずに精度を割り当てる。 - 本論文は SACQ を提案する。VLA 向けの ultra-low-bit weight-only vector-codebook quantization フレームワーク。

- 既存の low-bit PTQ 手法は下流演算の構造を明示的に扱わず、policy actions への影響を考慮せず精度配分を行う点が課題。 - SACQ は構造を考慮した codebook fitting と、最終 action 誤差に基づく mixed-bit allocation を組み合わせる点が異なる。 - 大規模言語モデル由来の PTQ レシピが ultra-low precision の VLA で劣化する問題に対し、VLA 固有の下流構造と action 感度を反映する。 - 具体的な先行研究名との比較数値は要旨からは不明。

- (1) structure-aware codebook fitting: 入力統計と下流感度を反映する role-specific quadratic metrics を用いる。 - (2) action-aware mixed-bit allocation: 各層を圧縮した際の最終 action 誤差の増加に基づいてビット配分を行う。 - (3) two-stage post-quantization refinement: 二次誤差補償で codeword indices を再割当し、codebooks と row-group scales を decoded action に対して校正する。 - weight-only の vector-codebook quantization として ultra-low-bit を実現。

- GR00T N1.7 を用い、LIBERO の4スイートで評価。language/action weight あたり 1.5 bits で平均成功率 93.85%、モデルメモリを 4.83x 削減。 - INT8 activation quantization と low-precision attention を併用し、93.55% の成功率を維持しつつ BF16 より 1.51x 高速。 - SimplER では language/action weight あたり 2 bits で Visual Matching 63.76%、Variant Aggregation 52.27% の成功率。BF16 ではそれぞれ 58.90%、53.45%。

- 要旨からは不明。 - ただし SimplER の Variant Aggregation では 2 bits の SACQ が 52.27% で BF16 の 53.45% を下回っており、条件によっては BF16 を超えない点が読み取れる。 - 詳細な議論や限界の記述は要旨からは不明。

- 要旨で参照/比較されている GR00T N1.7、LIBERO、SimplER に関連する研究。 - 大規模言語モデル由来の post-training quantization (PTQ) レシピ。 - low-bit PTQ 手法および vector-codebook quantization の関連研究。 - Vision-Language-Action (VLA) モデルの量子化・効率化に関する研究。