LLM / VLA 必要VRAM・KVキャッシュ計算機

モデルアーキテクチャ（層数・KVヘッド数・上限コンテキスト長・視覚エンコーダ）ごとにバイト単位で計算し、2進GiB（2³⁰）と10進GB（10⁹）を併記します

⚡ 電源・マルチGPU計算機へ →← PCパーツ相場一覧へ戻る

🧮 LLM / VLA 必要VRAM・KVキャッシュ容量見積もり（Bytes / GiB / GB 併記）

モデル固有の層数・KVヘッド数・最大コンテキスト長・視覚エンコーダに基づき、内部をバイト（bytes）単位で計算し2進GiB（2³⁰）と10進GB（10⁹）を併記します。

初期値：FP16（非量子化）

1. 対象モデル（アーキテクチャ別に分離）

公式リポジトリ: meta-llama/Llama-3.3-70B-Instruct（6f6073b4）

量子化参照: bartowski/Llama-3.3-70B-Instruct-GGUF

BF16テンソル本体：141,107,412,992 bytes。公開重みファイル合計：141,107,497,872 bytes。ファイル容量と実行時メモリは異なります。

モデル構成の根拠

80層 / GQA (num_key_value_heads=8, head_dim=128) / 最大131,072トークン

2. 重み精度 / 量子化方式

3. コンテキスト長 (上限 131,072)

4. KVキャッシュ精度

5. 同時バッチ数 (Batch Size)

推定合計メモリ消費量（2進GiB / 10進GB）

136.57 GiB(146.64 GB / 146,637,183,386 bytes)

モデル重み

131.42 GiB

141.11 GB

KVキャッシュ (8,192 tok)

2.50 GiB

2.68 GB (2,684,354,560 B)

CUDA / 実行バッファ

2.65 GiB

2.85 GB

KVキャッシュ計算式: 2 × 80層 × 8 KVヘッド × 128次元 × 8,192 tok × 2 B × Batch 1 = 2,684,354,560 bytes (2.50 GiB / 2.68 GB)

GGUF選択時は確認済み配布サイズを基準にし、それ以外の量子化は容量の概算です。実機での動作確認ではありません。FP8とGGUF Q8_0は異なる形式です。尺度・作業領域、画像トークン、OS予約、並列実行、分割方式で実際の必要量が増減します。OpenVLAの視覚重みはモデル重みに含めています。

主要GPU・エッジ機器の容量比較（表記容量をGiBと仮定・実機未検証）：

RTX PRO 6000 Blackwell Workstation Edition 96GB(96GiB)

2基合計容量内・分割未検証

RTX PRO 5000 Blackwell 48GB(48GiB)

× 容量超過 (-88.6GiB)

RTX PRO 4500 Blackwell 32GB(32GiB)

× 容量超過 (-104.6GiB)

RTX PRO 4000 Blackwell 24GB(24GiB)

× 容量超過 (-112.6GiB)

RTX 6000 Ada Generation 48GB(48GiB)

× 容量超過 (-88.6GiB)

RTX A6000 48GB (Ampere)(48GiB)

× 容量超過 (-88.6GiB)

RTX 5090 32GB(32GiB)

× 容量超過 (-104.6GiB)

RTX 4090 24GB(24GiB)

× 容量超過 (-112.6GiB)

RTX 3090 Ti 24GB(24GiB)

× 容量超過 (-112.6GiB)

RTX 3090 24GB(24GiB)

× 容量超過 (-112.6GiB)

RTX 5080 16GB(16GiB)

× 容量超過 (-120.6GiB)

RTX 5070 Ti 16GB(16GiB)

× 容量超過 (-120.6GiB)

RTX 4070 Ti SUPER 16GB(16GiB)

× 容量超過 (-120.6GiB)

RTX 4060 Ti 16GB(16GiB)

× 容量超過 (-120.6GiB)

AMD Radeon RX 9070 XT 16GB(16GiB)

× 容量超過 (-120.6GiB)

Jetson AGX Thor Developer Kit 128GB(128GiB / AI実効約118GiB)

× 容量超過 (-18.6GiB)

Jetson AGX Orin 64GB Developer Kit(64GiB / AI実効約54GiB)

× 容量超過 (-82.6GiB)