UniCompress、複数タスク対応VLMをINT2の単一モデルに圧縮

何が起きたか

arXivに2026年11月4日掲載の論文「UniCompress」は、複数タスクの専門性を単一のコンパクトなVLMにまとめる枠組みを提示した。BF16の教師モデルQwen3-VL-4Bから非対称INT2の学生モデルを構成し、重みの概算保存量を8.9GBから2.1GBへ約76%削減した。

詳細

手法はGPTQによる初期化と、教師モデルを用いた量子化後の回復を組み合わせる。視覚エンコーダーと、言語バックボーンの投影重みを共同で量子化・回復し、タスクごとのアダプターを使わない構成を目指す。 評価対象は姿勢認識、家庭内安全理解、マルチモーダル対話ルーティング、モバイルGUIの行動予測の4タスク。論文要旨によると、INT2のマクロタスクスコアはGPTQ-INT2を34.3ポイント上回り、統合済みBF16教師モデルとの差は0.9ポイント以内だった。

Key Facts

本紙の見方

この研究の軸は、単に重みを低ビット化することではなく、複数タスクの知識をタスク別アダプターなしの単一モデルに移しながら、視覚側と言語側の投影重みをまとめて量子化・回復する点にある。BF16教師モデルの約8.9GBに対してINT2学生モデルは約2.1GBで、保存量は約76%減る。したがって、示された成果の中心はモデル重みの格納負担を抑える設計であり、端末全体のメモリー使用量や実行速度まで同率で改善することを意味しない。 比較結果は、INT2化による性能低下をどこまで戻せるかを示す。GPTQ-INT2に対するマクロタスクスコアの34.3ポイント改善は、教師誘導の回復処理を加える意義を示す一方、比較対象は論文要旨に記されたGPTQ-INT2である。統合BF16教師モデルとの差が0.9ポイント以内という結果も、姿勢認識、家庭内安全理解、マルチモーダル対話ルーティング、モバイルGUI行動予測という4タスクの評価範囲で読む必要がある。タスク間の性能分布や、未評価の身体性タスクへの汎化まではこの結果から判断できない。 運用面では、複数の技能ごとにアダプターを保持・切り替える構成から、単一モデルを配備する構成へ移すことで、重みの保存量だけでなくモデル管理の複雑さも抑えられる可能性がある。ただし、論文要旨が示す定量結果は重み保存量とタスクスコアであり、実機上の推論遅延、消費電力、ピークメモリー、アダプター管理に要する実際のコストは示されていない。したがって、エッジ機器での採用判断には、機器ごとの資源条件下でこれらを測り、精度との交換条件を確認する必要がある。 技術的な検証点は、圧縮率をモデル全体の実装負担と混同しないことにある。視覚エンコーダーと言語バックボーン双方の投影重みを扱う方式であっても、重み以外の構成要素や実行時の一時領域が占める容量は別途確認が要る。また、4タスクのマクロスコアだけでは、各タスクで許容できる性能低下や安全関連タスクでの失敗特性は分からない。今後は対象ハードウェア、タスク別の評価値、実行時資源、異なるタスクを追加した場合の性能が、単一モデル化の実用性を判断する焦点となる。

なぜ重要か

UniCompressの評価では、4種類の身体性タスクを扱うINT2モデルが、GPTQ-INT2より高いマクロタスクスコアを示し、統合BF16教師モデルとの差を0.9ポイント以内に抑えた。タスク別アダプターを保持する方式に対し、単一モデル化と約76%の重み保存量削減を両立できるかを検討する材料となるが、実機の速度や電力、端末全体のメモリー使用量を示す結果ではない。