UniCompress：マルチLoRAエキスパートをエッジ向け単一小型モデルへ統合

- 本論文は UniCompress という deployment-oriented なフレームワークを提案する。 - 複数のタスク特化 adapter (multi-LoRA experts) を、1つの compact で adapter-free なモデルへ変換する。 - 対象は vision-language model (VLM) で、embodied/edge 環境の多様なスキルを1モデルで担う。 - 設定は以下の通り。 - 出発点は統合済みの BF16 Qwen3-VL-4B teacher。 - そこから asymmetric な INT2 student を構築する。 - 想定用途は resource-constrained な embodied platform への単一 multi-skill VLM の配備。

- 従来はスキルごとに task adapter を別々に保持し、高精度 backbone を維持する必要があり、memory と管理コストが大きい。 - 本手法は multi-task expertise を1つの compact で adapter-free なモデルに統合する点が異なる。 - 量子化の比較対象として GPTQ-INT2 が挙げられている。 - UniCompress は INT2 macro task score を GPTQ-INT2 比で 34.3 percentage points 改善。 - 統合済み BF16 teacher との差は 0.9 points 以内に収まる。 - ただし他の圧縮・統合手法との比較は要旨からは不明。

- 核となるのは teacher-guided な joint quantization/recovery である。 - 統合済み BF16 Qwen3-VL-4B teacher から asymmetric な INT2 student を構築。 - GPTQ initialization を用いる。 - 続いて teacher-guided quantization recovery を行う。 - 量子化と recovery の対象は以下の両方。 - vision encoder の projection weights。 - language backbone の projection weights。 - これにより vision-language model 全体を aggressive に圧縮しつつ multi-task behavior を保つ。

- 4つの heterogeneous な embodied task で評価している。 - posture recognition。 - household-safety understanding。 - multimodal dialogue routing。 - mobile-GUI action prediction。 - 主な結果は以下の通り。 - approximate weight storage を BF16 の 8.9 GB から INT2 の 2.1 GB へ削減(約 76% 減)。 - INT2 macro task score を GPTQ-INT2 比で 34.3 percentage points 改善。 - 統合済み BF16 teacher との差は 0.9 points 以内。

- 著者は teacher-guided joint vision-language INT2 recovery が、resource-constrained な embodied platform への単一 multi-skill VLM 配備に有効である可能性を示すと議論している。 - 一方で、以下の点は要旨からは不明。 - INT2 化に伴うタスク別の劣化パターンや失敗事例。 - latency・energy など memory 以外の実機コスト。 - 他モデル規模や他タスクへの汎化性。 - multi-LoRA experts の統合手順の詳細。

- 要旨で直接参照・比較されている研究は以下。 - GPTQ(INT2 初期化・比較対象)。 - Qwen3-VL-4B(teacher backbone)。 - multi-LoRA experts(変換元の専門家構成)。 - 関連して読むべき方向として、同分野の定番である以下の一般手法が挙げられる。 - post-training quantization(PTQ)。 - knowledge distillation。 - LoRA および LoRA 統合・merging 手法。 - VLM の edge 向け圧縮・展開研究。