Quantization 是一种技术,将 AI model 的 weight 从高精度浮点数(FP16、FP32)转换为位数更低的数值格式(INT8、INT4、INT2),从而显著减少运行 model 所需的 RAM 或 VRAM。quantization 程度合适时,您可以在 24GB VRAM 的 GPU 上运行 70B 参数 model,而无需原始 FP16 版本所需的 ~140GB。
Quantization 如何工作?
AI model 以浮点数(floating point)形式存储数十亿个参数。FP16 中的每个参数占用 2 byte,FP32 中则占用 4 byte。quantization 技术将这些值压缩为位数更少的数据类型中的离散级别。
例如,quantization Q4_K_M 将每个权重压缩至 4-bit,但仍会将部分重要权重保留为原始 FP16 形式。block quantization 技术将权重划分为多个块(通常为 128 个参数),每个块都有自己的 scale factor,以便解压时更准确地重建数值。
为什么减少 bit 能降低 RAM 和 VRAM 占用?
FP16 下的每个模型权重需要 16 bit = 2 byte。转换为 Q8 后,每个权重仅需 8 bit = 1 byte。转换为 Q4 后,每个权重平均仅需 ~4.5 bit(采用 Q4_K_M 格式)。这是一个简单的计算:
- 7B 参数模型 × 2 byte (FP16) = 14 GB
- 7B 参数模型 × 1 byte (Q8) = ~7 GB
- 7B 参数模型 × 0.5 byte (Q4) = ~3.7 GB
通用公式:所需 RAM/VRAM ≈ (参数量 × Bit-per-parameter) ÷ 8 + 1~2 GB overhead。1-2 GB 的 overhead 用于 inference 时的 activation、KV cache 和临时内存。
详细比较 FP16, FP8, Q8, Q6, Q5, Q4, Q3, Q2
每个参数的 bit 数和格式
目前最常见的 quantization 级别,按从高到低排列:
- FP16 — 每个参数 16 bit,不压缩,原始质量,在 GPU 上速度最快。
- FP8 (Float8) — 每个参数 8 bit,NVIDIA 的新格式(H100/H200),几乎保留 FP16 的原始质量。
- Q8 (INT8) — 每个参数 8 bit,质量非常接近 FP16(差异低于 1%),节省 50% 内存。
- Q6_K — 每个参数 ~6 bit,在质量和内存之间取得良好平衡,在 CPU 和 GPU 上都具有良好性能。
- Q5_K_M — 每个参数 ~5.5 bit,保留大部分质量,适合需要比 Q4 更高准确度的场景。
- Q4_K_M — 每个参数 ~4.5 bit,目前最常用的格式,在质量–内存之间取得良好平衡。
- Q4_K_S — 每个参数 ~4.3 bit,比 Q4_K_M 更省内存的变体,质量略有下降。
- Q4_0 / Q4_1 — 每个参数 ~4 bit,llama.cpp 的 legacy 格式,目前较少使用。
- Q3_K_M — 每个参数 ~3.5 bit,在复杂任务中开始明显看出质量下降。
- Q2_K — 每个参数 ~2.5 bit,最大程度节省内存,但质量显著下降,仅在不得已时使用。
GGUF 格式名称中各种后缀的特点
GGUF 格式使用后缀来区分压缩方法:
- Q4_K_M: K-quant, medium — 采用 block size 128 进行 4-bit 压缩,部分权重保留为 FP16,在质量–大小之间取得平衡。
- Q5_K_M: K-quant, medium — 5-bit 压缩,比 Q4 保留更多细节,适合需要高精度时。
- Q8_0: 原生 8-bit 压缩,不使用 K-quant,几乎等同于 FP16,大小为 Q4 的两倍。
- Q4_K_S: K-quant, small — 比 M 更节省空间,质量相比 M 略有降低。
- Q6_K: 6-bit K-quant,压缩位数不低于 Q5,但仍然比 Q8 小。
后缀 K 表示使用 block quantization(每个块包含 128 个参数),相比将所有权重逐个压缩,可以更准确地重建权重。后缀 M(medium)比 S(small)保留更多 metadata,因此在相同 bit-level 下能获得更好的结果。
GGUF、GPTQ、AWQ、EXL2 有何不同?
每种 quantization 格式适用于不同的平台和硬件:
- GGUF:llama.cpp 的格式,旨在通过独立 GPU(Apple Metal、CUDA)在本地运行。文件扩展名为 .gguf,权重可单独下载(以前为 .bin)。支持多种 Q2–Q8 量化级别,可在不同硬件上运行。适合:普通用户,使用 CPU 或消费级 GPU 运行。
- GPTQ:专为 NVIDIA GPU 打造的原生 Quantization,采用行级(row-wise)优化。通常与 text-generation-webui、oobabooga 等 inference 工具搭配使用。GPU 性能出色。适合:在 VRAM 充足的 NVIDIA GPU 上运行。
- AWQ (Activation-aware Weight Quantization):相比 GPTQ 有进一步的改进,根据 activation magnitudes 降低 quantization error,在相同 bit-level 下提供更高的质量。对独立 GPU 支持良好,正在逐步取代 GPTQ。适合:希望在 VRAM 有限的情况下通过 GPU 获得最佳质量的用户。
- EXL2:EXLlama 的格式,支持非统一 mixed-bit quantization(例如一部分使用 4-bit,另一部分使用 6-bit),针对 VRAM 进行了深度优化。适合:VRAM 较低、希望最大化质量的 GPU 用户。
总结:GGUF 适用于 CPU,灵活性强;AWQ/GPTQ 针对 NVIDIA GPU 优化;EXL2 适用于 GPU 上的极低 VRAM。
量化如何影响模型质量和速度?
对质量的影响
模型质量会随着量化级别降低而逐渐下降。根据社区的实践经验:
- FP16 → Q8:在大多数使用场景中,差异几乎无法察觉(在基准测试中的损失低于 1%)。
- Q8 → Q6:缩减幅度较小,大多数用户难以察觉,适用于大多数任务。
- Q6 → Q5_K_M:仍能保持良好质量,适用于大多数工作。
- Q5_K_M → Q4_K_M:最常用的平衡方案。显著减少内存占用,而对于 7B 及以上的参数模型,质量下降并不明显。
- Q4_K_M → Q3:对于需要精确计算的任务(代码生成、数学、长程推理),开始出现明显的性能下降。
- Q3 → Q2:质量明显下降,幻觉增加,仅应在硬件条件受限时使用。
对速度的影响
Quantization 通过减少每次需要处理的数据量,显著提高 GPU 上的 inference 速度。不过,在 CPU 上,速度在很大程度上取决于 quantization 类型:
- NVIDIA GPU:AWQ/GPTQ 速度最快。GGUF 通过 llama.cpp CUDA backend 运行也不错。
- CPU:GGUF 是最佳选择。llama.cpp 持续优化 SIMD (AVX2, AVX512, NEON),使 Q4 在同一 CPU 上的运行速度显著快于 Q8。
- Apple Silicon:GGUF 搭配 Metal backend,在 Q4 下能充分发挥集成 GPU 的性能。
Weight Quantization 与 KV Cache Quantization 有何不同?
这是两种分别作用于 inference 过程不同阶段的压缩技术:
Weight Quantization 对 model 权重进行压缩,即 training 过程中学习得到的数值。这是运行 model 时占用大部分内存的部分。每次 inference 都会使用全部这些权重。压缩权重有助于同时减少 VRAM 和 RAM 的占用。
KV Cache Quantization压缩 Key-Value 缓存——即处理 token 序列过程中生成的中间数据。当 model 处理长序列时,KV 内存会随序列长度和 layers 数量线性增长。压缩 KV cache 并不会让 model 变得更轻量,但能让长序列 inference 更节省内存。许多新版 GGUF model 已内置 KV cache quantization。
简而言之:Weight Quantization压缩 model(减小文件大小,减少所需的 RAM/VRAM)。KV Cache Quantization压缩 runtime 数据(减少长序列所需的内存,不改变文件大小)。
按 quantization 级别估算 RAM/VRAM 的表格
下表估算了所需的内存,包括模型权重和推理开销(通常为 1–2 GB)。数值以 GB 计算,并已加上运行时的实际开销。
| 量化级别 | 7B 参数 | 14B 参数 | 32B 参数 | 70B 参数 |
|---|---|---|---|---|
| FP16 | ~16 GB | ~30 GB | ~66 GB | ~144 GB |
| FP8 | ~9 GB | ~17 GB | ~38 GB | ~80 GB |
| Q8_0 | ~9 GB | ~17 GB | ~38 GB | ~80 GB |
| Q6_K | ~6.5 GB | ~12 GB | ~26 GB | ~55 GB |
| Q5_K_M | ~5.5 GB | ~10 GB | ~22 GB | ~46 GB |
| Q4_K_M | ~4.5 GB | ~8.5 GB | ~18 GB | ~38 GB |
| Q4_K_S | ~4 GB | ~8 GB | ~17 GB | ~35 GB |
| Q3_K_M | ~3.5 GB | ~6.5 GB | ~14 GB | ~28 GB |
| Q2_K | ~2.8 GB | ~5 GB | ~10 GB | ~20 GB |
注意:这是基于 GGUF 格式的估算。实际数值可能会因 model 和 framework 而相差 0.5–1 GB。如果运行 multi-GPU(tensor parallel),每个 GPU 只需承担相应的 1/4。
按硬件选择 quantization 级别的建议
选择 quantization 主要取决于三个因素:可用内存容量、使用 task,以及 GPU 还是 CPU。
按 VRAM/RAM 容量
- 低于 6 GB VRAM(GTX 1060、RTX 3050、Intel Arc):7B 使用 Q4_K_M 或 Q3_K_M。14B 需要 Q2_K。优先使用通过 llama.cpp 运行的 GGUF。
- 6–8 GB VRAM(RTX 3060、RTX 4060、RTX 2060 12GB):7B 使用 Q4_K_M;如需更高精度,使用 Q5_K_M。14B 需要 Q3_K_M 或 Q4_K_S。
- 8–12 GB VRAM(RTX 3080 10GB、RTX 4070、RTX 4070 Ti):14B 使用 Q4_K_M,7B 使用 Q5_K_M 或 Q6_K。可以轻松运行 AWQ/GPTQ。
- 12–24 GB VRAM(RTX 3090、RTX 4090、RTX 4070 Ti Super):32B 使用 Q4_K_M 或 Q5_K_M,14B 使用 Q6_K 或 Q8。
- 24+ GB VRAM(RTX 4090 24GB、A100、H100):70B 使用 Q4_K_M 或 Q5_K_M,32B 使用 Q8/FP8,可轻松使用大型模型。
按任务类型
- 普通聊天、创意写作、总结:Q4_K_M 已经足够,不需要更高。
- 代码生成、编程:Q5_K_M 或 Q6_K — 模型需要保持语法和逻辑准确。
- 长推理、数学、复杂分析:Q6_K 及以上;如果显存允许,理想选择是 Q8。
- 快速测试、原型:使用 Q2_K 快速测试新模型,然后升级到 Q4。
按平台
- 纯 CPU:使用 GGUF Q4_K_M 是速度与质量之间的 sweet spot。Q5 及以上在 CPU 上会明显变慢。
- NVIDIA GPU(CUDA):AWQ 或 GPTQ Q4_K_M 可优化 VRAM,速度最快。
- Apple Silicon(Mac):GGUF 搭配 Metal backend,Q4_K_M 在采用 unified memory 的 M-series 上运行非常流畅。
结论
Quantization 是让本地 AI 能够在普通硬件上运行的基础技术。对于大多数情况,Q4_K_M 是最稳妥的选择——足以在配备 6–8GB VRAM 的 GPU 上运行,也足以满足大多数日常任务的需要。如果 VRAM 容量允许,Q5_K_M 或 Q6_K 能带来近乎原版的体验。只有当显存确实受限时,才降级至 Q3 或 Q2——并接受输出质量上的取舍。
常见问题
Quantization 会让 model 变得更不智能吗?
对于 7B 及以上的 model,将 quantization 从 Q8 降至 Q4_K_M 几乎不会影响 model 的能力。从 Q3 及以下开始,您会看到 hallucinations 增加,并且对于需要复杂推理的 task,回复准确性会降低。
在 CPU 上运行 GGUF 快吗?
速度取决于 CPU 和 quantization 等级。Q4_K_M 在现代 CPU 8-core 上运行 7B model 时,速度约为 5–15 token/giây,足以用于 chat。Q5 及以上会明显更慢。如果需要速度,应优先在 GPU 上运行。
我应该使用哪种格式——GGUF、GPTQ 还是 AWQ?
如果是在 CPU 或 Mac 上运行,或者希望具有较高的灵活性,请选择 GGUF。如果是在 NVIDIA GPU 上运行,请选择 AWQ 或 GPTQ——在相同 bit-level 下,AWQ 的质量更高,而 GPTQ 与各种 framework 的兼容性更广。
6GB VRAM 的 GPU 能运行 14B 模型吗?
可以,但需要使用 Q2_K 或 Q3_K_M 量化。14B 模型在 Q3_K_M 下约需要 6.5 GB VRAM。与原始版本相比,质量会明显下降,适合用于测试或在没有其他选择时使用。
KV Cache Quantization 能减少 VRAM 吗?
KV Cache Quantization 不会让模型文件变小,只会减少长序列推理时所需的内存。如果你需要降低总体 VRAM 占用,主要应关注的是 weight quantization(Q4、Q5……)。

