3. 主流量化方法对比：Q4_0、Q4_K_M、Q5_K_M、Q8_0、F16的原理与适用场景
量化方法选不对，后面全白费。
我见过太多人一上来就无脑选 Q4_0，结果模型输出质量惨不忍睹。也有人死磕 Q8_0，结果显存爆了，推理速度还不如跑 F16。
这一章，咱们就把主流的几种量化方法掰开揉碎讲清楚。你想想看，搞懂了原理，你才能知道什么时候该用什么。
3.1 先看一张全景图
下面这张图，是我自己整理的量化方法决策树。每次做项目前，我都会瞄一眼，心里就有数了。
3.2 Q4_0：最激进的压缩方案
Q4_0 是什么？说白了，就是把每个权重用 4 个 bit 来存。原来 F16 要 16 个 bit，现在直接砍到 4 个 bit。
压缩比大概是 4 倍。模型体积直接缩到原来的四分之一。
核心原理：每个权重用 4 bit 量化，每 32 个权重共享一个 scale 值。
显存占用：7B 模型大约 3.5GB - 4GB
推理速度：极快，CPU 上也能跑得飞起
我记得有一次，客户要求在树莓派上跑一个 7B 模型做对话。当时我第一反应就是 Q4_0。为什么？因为只有它能在那么小的内存里塞下模型。
避坑指南：我曾经在一个医疗问答项目里用了 Q4_0，结果模型输出质量下降明显，专业术语经常出错。后来换成 Q4_K_M，问题就解决了。所以，如果你的任务对精度要求高，慎用 Q4_0。
3.3 Q4_K_M：最推荐的入门选择
Q4_K_M 是我个人最常用的量化方法。为什么？因为它找到了一个很好的平衡点。
它本质上还是 4 bit 量化，但引入了 K-quant 的分组策略。什么意思呢？就是它会把权重分成不同的组，每个组用不同的量化策略。
我的经验：如果你不确定选什么量化方法，先试 Q4_K_M。它在 90% 的场景下都够用。我做过一个法律文书生成的项目，Q4_K_M 的输出质量跟 F16 几乎没区别，但显存占用少了一半多。
具体来说，Q4_K_M 把权重分成 6 个不同的重要性级别。重要的权重用更精细的量化，不重要的就粗暴一点。这种「看人下菜碟」的做法，效果出奇的好。
| 特性 | Q4_0 | Q4_K_M |
|---|---|---|
| 量化位数 | 4 bit | 4 bit（分组自适应） |
| 7B 模型大小 | ~3.8 GB | ~4.2 GB |
| 质量损失 | 中等 | 较低 |
| 推理速度 | 极快 | 快 |
| 适用场景 | 资源极度受限 | 通用场景 |
3.4 Q5_K_M：质量与效率的黄金分割点
如果你对质量要求比较高，但又不想上 F16 那么奢侈，Q5_K_M 就是你的菜。
5 bit 量化，比 4 bit 多了一个 bit 的精度。别小看这一个 bit，效果差距挺明显的。
我的实测数据：在 MMLU 基准测试上，Q5_K_M 相比 Q4_K_M 平均提升 1-2 个百分点。在代码生成任务上，差距更明显，能达到 3-4 个百分点。
为什么会这样？因为 5 bit 能表示 32 个不同的值，而 4 bit 只能表示 16 个。多了一倍的量化级别，精度自然就上去了。
我建议，如果你的显存够用（7B 模型大概需要 5-6 GB），直接上 Q5_K_M。特别是做代码生成、数学推理这类对精度敏感的任务。
3.5 Q8_0：几乎无损的压缩
Q8_0 用 8 bit 量化，也就是一个字节。压缩比是 2 倍。
说实话，Q8_0 的质量损失已经非常小了。在很多任务上，你几乎感觉不到跟 F16 的区别。
什么时候用 Q8_0？我个人习惯是：当模型需要做多轮对话或者长文本生成时，我会优先考虑 Q8_0。因为这种场景下，量化误差会随着生成长度累积，Q8_0 能有效抑制这种累积误差。
不过要注意，Q8_0 的显存占用比 Q4 系列大不少。7B 模型大概需要 7-8 GB。如果你的显卡只有 8 GB 显存，那基本就只够跑这一个模型了。
3.6 F16：全精度参考基准
F16 就是半精度浮点数，16 bit。严格来说它不算量化，因为模型本来就是用 F16 训练的。
但为什么还要提它？因为它是我们衡量量化质量的「金标准」。
我每次做量化方案时，都会先跑一遍 F16 的结果，作为 baseline。然后看量化后的模型跟 F16 差多少。如果差距在 1% 以内，我就认为量化是成功的。
注意：F16 虽然质量最好，但显存占用也最大。7B 模型需要 14 GB 左右。很多消费级显卡根本跑不动。所以实际部署中，F16 更多是作为「参考系」存在，而不是真正的部署方案。
3.7 实战选择建议
说了这么多，到底该怎么选？我给你一个简单的决策流程：
- 先看显存：如果显存小于 4 GB，别想了，Q4_0 是你唯一的选择。
- 再看任务：如果是简单的文本分类、情感分析，Q4_K_M 足够了。如果是代码生成、数学推理，上 Q5_K_M。
- 最后看速度：如果对延迟要求极高（比如实时对话），Q4_0 或者 Q4_K_M 优先。
我的个人推荐排序：
- 新手入门：Q4_K_M
- 日常使用：Q5_K_M
- 追求质量：Q8_0
- 极致速度：Q4_0
- 参考基准：F16
嗯，这一章的内容就到这里。量化方法的选择没有绝对的对错，关键是要理解每个方法的取舍。你想想看，搞清楚了这些，以后选量化方案就不会抓瞎了。