第1章：なぜ「1ビット未満（Sub-1-Bit）」の圧縮が数学的に可能なのか？

情報理論の基本に立ち返ると、1つの独立したスイッチ（二値変数）が表現できる最小単位は1ビット（+1 または -1）である。そのため、重み行列 W の各要素を1つずつ個別に丸める「スカラー量子化（16bit → 8bit → 4bit → 1bit）」の延長線上では、1重みあたり1ビット未満（たとえば0.1 bit）という数字は直感に反するように見える。

Samsung ResearchのLittleBit^[3]およびLittleBit-2^[1]が突破口を開いたのは、「重みを1個ずつ保存する」という前提そのものを捨て、「巨大な重み行列を、細長い2つの低ランク二値行列の積とスケール係数に分解して近似する（Latent Matrix Factorization）」という構造的アプローチを採った点にある。

公開リポジトリ SamsungLabs/LittleBit の LittleBitLinear._compute_eff_bits(a, b, s, residual)^[2] を見ると、入力次元 a・出力次元 b・潜在ランク（split_dim = s）に対する有効ビット幅（BPW）は次式で厳密に定義されている。

• 単一経路（residual=False）の総ビット数：num_bits = s × (a + b + 16) + 16 × (a + b)、有効ビット幅 eff_bit = num_bits / (a × b)
• 残差補償あり（residual=True、主経路＋残差経路の二重二値分解）：num_bits = 2 × s × (a + b + 16) + 32 × (a + b)、有効ビット幅 eff_bit = num_bits / (a × b)

第2章：LittleBit-2（ICML 2026）の核心 — なぜSVDだけでは二値化で壊れるのか？

前作のLittleBit（NeurIPS 2025）^[3]では、重み行列 W を特異値分解（SVD）によって低ランク因子 U, V に分解し、その符号 sign(U), sign(V) を取って量子化認識学習（QAT）の初期値としていた。しかし、LittleBit-2の著者ら（Banseok Lee, Youngmin Kim）は、「SVDは連続値でのL2再構成誤差を最小化するのには最適だが、そのまま二値化（sign関数）にかけると深刻な幾何学的ミスマッチ（Latent Geometry Misalignment）を起こす」ことを突き止めた^[1]。

• 問題1（外れ値と座標軸への集中）：SVDで得られた特異ベクトルは、一部の成分に極端に大きな値（外れ値）が集中し、残りの多くの成分がゼロ付近に密集する尖度の高い分布になりやすい。これを単純に +1 / -1 に丸めると、大きさの濃淡情報が失われ、二値超立方体（Binary Hypercube）の頂点との角度誤差が大きくなる^[1]。
• 解決策1：Joint-ITQ（Joint Iterative Quantization）による潜在空間回転：低ランク分解には、任意の直交行列 R（R^T R = I）を挟んでも (U R)(R^T V^T) = U V^T となり、連続値としての積が1ミリも変わらないという数学的自由度がある。LittleBit-2は、実装コード（quantization/modules/littlebit.py）にある通り、X_combined = torch.cat([U, V.t()], dim=0) に対して反復直交回転 R（デフォルト50反復）を求め、U ← U R、V ← R^T V へと同時に回転させてから二値化する^[1][2]。しかも回転行列 R は初期化時に U, V に吸収されるため、推論時の追加計算コストは完全にゼロである。
• 解決策2：Spectral Energy Gain（スペクトル・エネルギー利得）の最大化：同じビット予算であれば、高ビット（FP16）のままごく少数のランク方向だけを持つよりも、1方向あたりのビット数を1ビットに削ってでもより多くのランク方向（特異値成分）を保持した方が、行列全体のスペクトルエネルギーをより多く回収できる領域が存在する。Joint-ITQによって二値化誤差を抑えることで、このSpectral Energy Gainが最大化される^[1]。

第3章：Llama 3 8B・Gemma 3 27Bの実測データと「モデル全体サイズ」の罠

では、実際に0.1 BPWまで圧縮したとき、モデルの言語予測性能（WikiText-2 Perplexity：数値が低いほど優秀）とモデル容量はどう変化するのか。ICML 2026論文^[1]の報告値を整理すると、「前作からの着実な改善」と「FP16原本との明確な精度差」の両方が浮かび上がる。

ここで特に重要なのが「本体0.1 GB vs モデル全体2.2 GB」の区別である。Llama 3 8Bは語彙数（Vocabulary Size）が128,256と大きく、入力トークンをベクトルに変えるEmbedding層と最終単語確率を出すLM Headだけで十数億パラメータを占める。これらを非量子化のまま残すと、Transformerブロック内部の線形層を0.1 BPW（約0.1 GB）まで極限圧縮しても、外側の入出力層が約2.1 GBを占めるため、モデル全体では約2.2 GBになる^[1]。「0.1 bitだから16 GBが0.1 GBになる」と短絡してはならない理由がここにある。

第4章：2024〜2026年の超低ビットLLM研究マップ — NanoQuant・BTC-LLM・BitNet b1.58との比較

現在、「1ビット前後〜1ビット未満」を目指す研究は大きく①学習済みモデルの低ランク二値分解・コードブック圧縮（QAT / PTQ）と、②最初から低ビット重みで事前学習するネイティブ低ビット学習に分かれている。主要10研究のポジションを比較しよう。

第5章：推論速度の現実と公開リポジトリの実装コマンド

「モデルが小さくなれば、そのまま同じ倍率で推論も速くなるのか？」という問いに対する答えは「専用カーネル次第であり、かつシステム全体のボトルネックに制約される」である。

• 単一層カーネル（最大11.6倍） vs モデル全体（2.46倍）：通常のGPU（Tensor Core）はFP16/BF16/INT8/FP8の密行列積に最適化されており、1ビットのパック済みビット列をそのまま計算できない。もし推論時に毎回1ビットをFP16へ展開（Dequantize）していたら、メモリ帯域は節約できても演算自体はむしろ遅くなる。Samsung Researchが前作LittleBitで報告した「70BのMLP層カーネルで最大11.6倍高速化」「Llama 2 7B全体で 82.56 → 203.20 tokens/sec（2.46倍）」^[3]や、NanoQuantが報告した「専用CUDA GEMVカーネルによる最大3倍超のデコード高速化」^[4]は、いずれもカスタムの二値演算カーネルを用いて初めて達成される。さらにモデル全体ではAttention計算、KVキャッシュの読み書き、LayerNorm/RMSNorm、非量子化層が残るため、アムダールの法則により全体速度は2〜3倍程度に収束する。
• LittleBit-2とNanoQuantの実行コマンドとライセンスの違い：研究・検証用途でLittleBit-2のQATを実行する場合（CC BY-NC 4.0、非商用ライセンス、Transformers 4.51系指定）と、商用利用も可能なApache-2.0ライセンスでNanoQuantのADMMベースPTQを実行する場合の公式コマンドは以下の通りである^[2][5]。

第6章：深掘り技術考察 — 4つの本質的論点とPhysical AI（ロボットVLA）への応用

6.1 情報理論的冗長性と特異値スペクトル：どの能力から先に壊れるか？

学習済みLLMの重み行列はフルランクに見えても、特異値スペクトルが急激に減衰する（少数の主成分にエネルギーが集中する）構造的冗長性を持つ。低ランク二値分解はこの性質を利用しているが、0.1 BPWまで削ると下位の特異値成分に格納されていた「低頻度の事実知識（固有名詞・年号・数値の正確な記憶）」「多段の論理推論・数学・コード生成における厳密なトークン選択」「日本語の助詞・敬語・長文の一貫性」から先に劣化しやすい。したがって、英語のWikiText-2 PPLだけで実用性を判断せず、日本語タスク・厳密なJSON出力・算術推論での段階的評価が不可欠である。

6.2 「0.1bitの70B」と「4bitの7B」は同じメモリ予算でどちらが賢いか？

たとえば約4〜8GBのVRAM予算があるとき、「70Bモデルを0.1〜0.5bit付近まで極限圧縮したもの」と「7B〜8Bモデルを4bit（AWQ/GGUF Q4_K_M等）で動かすもの」のどちらが実用的か。1.0〜2.0 BPW領域（NanoQuantやQuIP#、AQLM）では「大型モデルを強く圧縮した方が小型モデルの高ビット版を上回る（パレート最適を更新する）」ケースが確認されている^[4][11]。しかし0.1 BPWのような極限領域では、Llama 3 8BのPPLが6.10→23.74へ劣化する通り、その時点では4bitの小型・中型モデルの方が実用精度・速度ともに安定する場面が多い。すなわち現時点での実用スイートスポットは2〜4bit（用途により1〜1.58bit）であり、0.1bitは「どこまで行列構造で情報を残せるか」のフロンティア研究と位置づけるのが正確である。

6.3 知識蒸留（Knowledge Distillation）との組み合わせ

実際に SamsungLabs/LittleBit リポジトリには utils/kd_utils.py が含まれており、FP16の教師モデル（Teacher）の出力ロジット分布を低ビット生徒モデル（Student）に模倣させる知識蒸留併用QATが設計されている^[2]。Joint-ITQで二値化直後の初期損失を大幅に下げた上で知識蒸留を行うことで、0.1〜1.0 BPWでの精度回復は大きく進むが、その分だけ教師モデルを同時にメモリへ載せる学習コストが必要になる（逆に学習コストを抑えたい場合はNanoQuantのADMM PTQが有利となる）。

6.4 ロボットVLA（Vision-Language-Action）モデルへの適用可能性と混合精度設計

ヒューマノイドや双腕ロボットのオンボード計算機（Jetson Thorや小型エッジGPUなど、電力・VRAMが厳しく制限された環境）に大型のVLAモデルやWorld Modelを搭載する際、Sub-1-Bit〜1-Bit圧縮は極めて魅力的である。ただし、ロボット制御では文章生成のわずかな揺らぎ以上に「連続的な関節角度・手先6DoF軌道の予測誤差（Action Prediction Error）」が物理的な把持失敗や衝突に直結する。そのため、ロボットVLAへLittleBit-2やNanoQuantを適用する際は、モデル全体を一律に0.1 bit化するのではなく、以下のようなレイヤー別混合精度（Mixed-Precision Layer Allocation）が現実的な設計指針となる。

• 中間Transformerバックボーン（言語・文脈推論層）：パラメータの大半を占める中間FFN/MLP層は、LittleBit-2やNanoQuantで0.5〜1.58 BPWへ積極圧縮し、メモリ帯域とVRAM容量を大幅に削減する。
• 視覚エンコーダ境界（Vision Projector）と行動出力ヘッド（Action Head / Diffusion Policy Head）：空間座標や関節トルクに直結する最終出力層・クロスアテンション層はFP16 / INT8 / 4-bitの高精度を維持し、軌道誤差と安全制約違反を防ぐ。

第7章：結論 —「数を丸める量子化」から「行列構造を再設計する圧縮」へ

Samsung ResearchのLittleBit-2（ICML 2026）^[1]やNanoQuant（ICML 2026）^[4]が示したのは、「0.1bitで魔法のように元の70Bがそのまま動く」という誇張された物語ではない。そうではなく、「重みを1個ずつ丸めるスカラー量子化の限界を超え、低ランク二値分解・潜在空間の直交回転（Joint-ITQ）・ADMM基底最適化によって、1ビット未満という未踏の領域でも言語モデルの構造的情報を保持できることを数学と実験で証明した」点に本質的な価値がある。この構造的圧縮技術と専用二値カーネルの進化が、クラウド専有だった巨大AIを手元のPCやエッジデバイス、そして物理世界を動くロボットの頭脳へと降ろしていく基盤となる。