宇宙ロボット/モデル圧縮2026/10/21arXiv:2610.29302

宇宙ロボット搭載言語モデルの行動忠実度を保証する圧縮手法

Compressing Onboard Language Models for Space Robots under a Behavioral-Fidelity Requirement

宇宙ロボット搭載向けに、複数の量子化手法を組み合わせて低ビット圧縮し、元モデルとの行動一致を保証するQSelectを提案・評価した論文。

詳しい要約

1. どんなもの？

- 宇宙ロボット上で言語モデルを動かすための、地上セグメントでの圧縮手法の研究 - 運用者が与えるコマンド解釈と検証済みスキル選択のインターフェースとしての言語モデルを想定 - 低ビット圧縮を前提に、固定メモリ予算・保存形式・構成管理下の静的アーティファクト・地上検証済みの挙動再現という飛行利用要件を扱う - QSelect と呼ぶ、複数の量子化器を組み合わせて1つの静的モデルを構成する手法を検討 - 評価は地上 GPU 上の一般ドメインベンチマークに限定

2. 先行研究と比べてどこがすごい？

- 一般的な post-training quantization が暗黙にしている飛行利用要件(固定メモリ予算・保存形式・静的アーティファクト・地上検証との挙動一致)を明示的に扱う点 - 単一の量子化器ファミリではなく AWQ・GPTQ・AutoRound をモジュール単位で混成する点 - 6設定すべてで、混成モデルが単一ファミリモデルより低い平均 held-out perplexity を達成 - 最終出力分布に基づくスコアリングが、表現類似度スコアリングより12組すべてで低い held-out KL を示す - ラベル利用の target-adapted mode で 3-bit の pooled accuracy が最良単一ファミリより Llama 2モデルで +4.3 / +4.5 ポイント

3. 技術・手法の肝は？

- 圧縮を地上セグメントのステップとして扱う - QSelect は互換性のある AWQ・GPTQ・AutoRound のチェックポイントから1つの静的 low-bit モデルを構成 - 各 linear module を1つの量子化器ファミリに割り当てる - 各置換を最終 next-token 分布でスコアリング - 既定の fidelity mode はラベル・調整済み閾値不要で、BF16 参照からの forward KL divergence が減少する場合のみ置換を受理 - 任意の target-adapted mode は小規模ラベル集合で answer likelihood を追加

4. どうやって有効だと検証した？

- DeepSeek-R1-Distill-Qwen-7B、Llama-3.1-8B、Llama-3.2-3B を 3-bit と 4-bit で評価 - 6設定すべてで混成モデルが単一ファミリモデルより低い平均 held-out perplexity - fidelity mode が perplexity と KL をさらに低減 - 同一 scaffold で最終出力スコアリングが表現類似度スコアリングより12組すべてで低い held-out KL - 評価対象タスクファミリの training/development split のラベルを用い、target-adapted mode が 3-bit pooled accuracy を Llama 2モデルで +4.3 / +4.5 ポイント改善 - 3-bit では未量子化の embedding と output layer が packed artifact の 43-46% を占める

5. 議論はある？

- 評価は一般ドメインベンチマークかつ地上 GPU のみ - 宇宙ドメインタスクと飛行ハードウェアは future work とされている - 3-bit で未量子化の embedding/output layer が artifact の 43-46% を占め、圧縮余地として議論の対象 - target-adapted mode はラベルを必要とし、fidelity mode はラベル不要という運用上の違いがある - 飛行利用要件のうち、実際の flight hardware での挙動は未検証

6. 次に読むべき論文は？

- AWQ - GPTQ - AutoRound - post-training quantization 一般 - forward KL divergence に基づく圧縮・量子化の評価手法 - 宇宙ロボット向け言語モデルのオンボード推論に関する研究(要旨では具体的な参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jia Deng, Zizhe Wang, Xin Lu, Yi Huang, Zehao Jia

分類: cs.RO, cs.LG

原文アブストラクト

Language models are being explored as the interface through which space robots interpret operator commands and select among verified skills. Running them onboard calls for low-bit compression, and flight use adds requirements that generic post-training quantization leaves implicit: a fixed memory budget and storage format, a static artifact under configuration control, and behavior close to the full-precision model validated on the ground. We treat compression as a ground-segment step and study QSelect, which composes one static low-bit model from compatible AWQ, GPTQ, and AutoRound checkpoints by assigning each linear module to one quantizer family and scoring every substitution at the final next-token distribution. The default fidelity mode needs no labels or tuned thresholds and accepts a substitution only when the forward KL divergence from the BF16 reference decreases; an optional target-adapted mode adds answer likelihood on a small labeled set. On DeepSeek-R1-Distill-Qwen-7B, Llama-3.1-8B, and Llama-3.2-3B at 3 and 4 bits, composed models reach lower mean held-out perplexity than every single-family model in all six settings, and the fidelity mode lowers perplexity and KL further. In a matched scaffold, final-output scoring gives lower held-out KL than representation-similarity scoring in all 12 paired runs. With labels from training or development splits of the evaluated task families, the target-adapted mode raises 3-bit pooled accuracy on the two Llama models by 4.3 and 4.5 points over the best single-family model. At 3 bits, unquantized embedding and output layers make up 43-46% of the packed artifact. All evaluations use general-domain benchmarks on a ground GPU; space-domain tasks and flight hardware are left to future work.

arXivで原文を読む →arXiv概要ページ

← 論文一覧