运行一个完全能够在本地进行计算的 AI 模型需要多少 RAM/VRAM?所需总内存 = model weights + KV cache + 系统开销,其中每个组件都有自己的计算公式。本文提供了详细的计算公式和实际示例,涵盖 8B、32B 和 70B model 系列在各种 context 水平下的情况。
运行本地 AI 时 RAM/VRAM 用于什么
在本地机器上运行 AI 模型时,RAM 和 VRAM(显卡内存)可分为三个主要部分:
- Model weights (模型权重):需要加载到内存中以执行推理的 AI 模型全部参数。这通常是占用内存最多的部分。
- KV Cache:存储先前推理轮次中的 Key-Value,使模型在继续生成新 token 时无需从头重新计算,从而处理得更快。
- Runtime overhead:中间 layer、activation、buffer 和操作系统占用的内存。
其中,model weights 和 KV cache 是两个可以通过数学公式准确计算的部分。Runtime overhead 通常占约 1-3 GB,具体取决于模型和 framework。
如何根据参数量和 quantization 计算 model weights 的容量
model weights 的容量取决于模型的总参数量和存储格式(quantization)。
计算公式:
weights 容量(GB)= 参数量 × 每个参数的字节数
常见 quantization 格式下每个参数的字节数:
- FP16 (Float16):2 bytes/参数
- INT8 (Q8):1 byte/参数
- INT4 (Q4_K_M):约 0.5-0.6 bytes/参数(取决于压缩方法)
- INT4 (Q4_0):正好 0.5 bytes/参数
以 7-8 十亿参数模型(7B/8B)为例:
- FP16: 7 十亿 × 2 = 14 GB
- Q8: 7 十亿 × 1 = 7 GB
- Q4_K_M: 7 十亿 × 0.55 ≈ 3.85 GB
以 70 十亿参数模型(70B)为例:
- FP16: 70 十亿 × 2 = 140 GB
- Q4_K_M: 70 十亿 × 0.55 ≈ 38.5 GB
量化格式越低(Q4 < Q8 < FP16),容量越小,但推理质量也会随之下降。Q4_K_M 是一个常见选择,因为它在容量和准确性之间取得了良好平衡。
KV Cache 是什么,以及为什么 context 越长越占用 RAM
KV Cache 是推理过程中用于存储来自各个 attention heads 的中间结果(Key tensor 和 Value tensor)的机制。当模型处理一个 token 序列时,需要通过 attention mechanism 引用此前处理过的所有 token。KV Cache 会保存这些值,从而在生成新 token 时无需重新计算。
当 context length 增加时,需要存储在 KV Cache 中的数据量会线性增长。128K token 的序列所需存储的 KV Cache 是 8K token 序列的 16 倍。这解释了为什么支持长 context(32K、128K)的模型相比普通模型(8K)需要显著更多的 VRAM。
KV Cache 也取决于模型的 attention 架构。使用 Grouped Query Attention (GQA) 的模型比传统的 Multi-Head Attention (MHA) 更节省 KV Cache,因为多个 query heads 共享一对 KV heads。
KV Cache 计算公式及 MHA/GQA/MQA 的影响
KV Cache 计算公式:
KV Cache (bytes) = 2 × num_layers × num_kv_heads × head_dim × context_length × bytes_per_param
其中:
- 2:Key 和 Value 的系数
- num_layers:模型中的 attention 层数
- num_kv_heads:KV heads 的数量(不同于 query heads)
- head_dim:每个 head 的维度(通常为 128)
- context_length:上下文中的最大 token 数
- bytes_per_param:FP16 为 2 bytes,INT8 为 1 byte
比较 attention 架构:
- MHA (Multi-Head Attention):每个 head 都有独立的 KV。示例:32 query heads、32 KV heads。KV Cache 最大。
- GQA (Grouped Query Attention):多个 query heads 共享 1 对 KV heads。示例:32 query heads、8 KV heads。与 MHA 相比,KV Cache 约节省 4 倍。
- MQA (Multi-Query Attention):所有 query heads 共用 1 对 KV heads。节省最多,但质量较低。
以 Llama 3.1 8B 为例:
架构:32 layers、8 KV heads、head_dim 128,以 FP16 运行(2 bytes)
1 个 token 的 KV Cache = 2 × 32 × 8 × 128 × 1 × 2 = 131,072 bytes ≈ 0.125 MB
8K token 的 KV Cache = 0.125 MB × 8,000 = 1,000 MB = 1 GB
128K token 的 KV Cache = 0.125 MB × 128,000 = 16 GB
对于采用 MHA 架构和 32 个 KV heads 的情况,128K 的 KV Cache 将增至 64 GB(是原来的 4 倍)。
所需总 RAM/VRAM 计算公式汇总
通用公式:
总 RAM/VRAM = Weights + KV Cache + Overhead
其中:
- Weights:参数数量 × Bytes/参数(取决于 quantization)
- KV Cache:2 × layers × kv_heads × head_dim × context × 2 (FP16)
- Overhead:操作系统、framework 和 activation 通常需要 1-3 GB
重要提示:KV Cache 与 weights 存储在同一内存中。如果你想以 128K context 运行,但 VRAM 不足,系统会自动将 KV Cache swap 到系统 RAM,或降低实际 context,从而显著降低推理速度。
为了优化,Ollama、LM Studio 或 vLLM 等许多 framework 支持 KV Cache offloading 或在 VRAM 与 RAM 之间进行 dynamic splitting 的机制,但这取决于具体硬件和配置。
8B、32B、70B model 在 8K-128K context 下的 VRAM 估算表
通用假设:采用典型的 GQA 架构(8B 使用 8 个 KV heads,32B/70B 采用相应配置)、head_dim 128、overhead 2 GB,weights 以 Q4_K_M 运行。
7-8B(32 层,8 个 KV 头):
- 上下文 8K:权重 ~4.9 GB + KV ~1 GB + 开销 ~2 GB = ~8 GB
- 上下文 32K:权重 ~4.9 GB + KV ~4 GB + 开销 ~2 GB = ~11 GB
- 上下文 128K:权重 ~4.9 GB + KV ~16 GB + 开销 ~2 GB = ~23 GB
30-34B(60 层,8 个 KV 头):
- 上下文 8K:权重 ~18 GB + KV ~2 GB + 开销 ~2 GB = ~22 GB
- 上下文 32K:权重 ~18 GB + KV ~8 GB + 开销 ~2 GB = ~28 GB
- 上下文 128K:权重 ~18 GB + KV ~32 GB + 开销 ~2 GB = ~52 GB
70B (80 layers, 8 KV heads, Q4_K_M):
- Context 8K: Weights ~39 GB + KV ~4 GB + Overhead ~2 GB = ~45 GB
- Context 32K: Weights ~39 GB + KV ~16 GB + Overhead ~2 GB = ~57 GB
- Context 128K: Weights ~39 GB + KV ~64 GB + Overhead ~2 GB = ~105 GB
评论:运行长 context 时,KV Cache 已成为决定性因素。对于 128K context 下的 70B model,使用 Q4_K_M 时,KV Cache (~64 GB) 甚至比 weights (~39 GB) 更大。
常见错误和 RAM 建议
错误 1:只计算 weights 而忘记 KV Cache
很多人认为 7B Q4 模型只需 5 GB VRAM 就足够了。实际上,如果需要以 8K context 运行,还需为 KV Cache 额外分配至少 1 GB,使总量增加到约 7-8 GB。忽略这一点会导致模型开始生成较长的 token 时出现 OOM(内存不足,Out of Memory)。
错误 2:未计算系统和 framework 的 overhead
CUDA kernels、PyTorch memory allocator 和各种中间 buffer 会额外占用 1-3 GB VRAM。某些 framework(例如 HuggingFace 的 transformers)在 forward pass 过程中还需要额外的内存来存储 activation tensors。
错误 3:未了解 quantization 如何影响 KV Cache
Quantization 仅适用于模型的 weights。KV Cache 在大多数 implementation 中通常保持为 FP16 或 FP32,以确保 attention 的准确性。这意味着,即使你对 weights 使用 Q4,KV Cache 仍需按 FP16 计算。
根据需求的 RAM/VRAM 建议:
- 日常使用,短 context(4-8K):8-12 GB 显卡(RTX 3060、RTX 4060)足以运行 7-8B Q4 model
- 工作使用,中等 context(8-32K):16-24 GB 显卡(RTX 3090、RTX 4090、RTX 4070 Ti Super)适用于 13-34B Q4 model
- 研究使用,长 context(64-128K):24-48 GB 显卡(A100、A6000 Ada),或多张采用 SLI/NVLink 的显卡,适用于 70B+ model
- 高速推理(大 batch、streaming):需要比理论计算值额外增加 20-30% VRAM
除了 VRAM 之外,系统 RAM 也很重要。如果 VRAM 不足,系统会将 RAM 用作 swap,但速度会慢很多。如果打算运行大型模型,请确保系统 RAM 至少是 VRAM 的两倍。
结论
为本地 AI 计算 RAM/VRAM 有一套明确的公式:Total = Weights + KV Cache + Overhead。其中,weights 取决于参数量和 quantization(Q4/Q8/FP16),KV Cache 取决于 model 架构、KV heads 数量和 context length。当 context 增大时,KV Cache 在所需容量方面可能会超过 weights,尤其是对于 70B 及以上的模型。选择硬件前请仔细计算,以避免意外出现 OOM。
常见问题
Model 7B Q4 运行 8K context 需要多少 VRAM?
对于运行 Q4_K_M 的 model 7B(~4.9 GB weights),context 8K 还需要 ~1 GB KV Cache 和 ~2 GB overhead,总共约 7-8 GB VRAM。
Quantization 会影响 KV Cache 吗?
不会。Quantization 只会压缩模型的 weights。在大多数 framework 中,KV Cache 通常保持为 FP16,以确保 attention mechanism 的准确性。
为什么 context 越长会占用更多 VRAM?
KV Cache 会随 context length 线性增长。公式为 2 × layers × kv_heads × head_dim × context × 2 bytes。每增加一个 token,都需要为所有 layer 分配相应的 KV 内存。
8GB 显卡能运行 13B model 吗?
对于较短的 context (2-4K),13B Q4 model 可以在 8 GB VRAM 上运行 (weights ~7 GB + KV 较小)。然而,超过 8K 的 context 将需要超过 8 GB。
与 MHA 相比,GQA 可节省多少 VRAM?
GQA 按 num_kv_heads / num_query_heads 的比例减少 KV Cache。例如,Llama 3.1 8B 有 32 个 query heads 和 8 个 KV heads,与使用完整 MHA 相比,可节省 4 倍的 KV Cache。

