4、量化原理浅析：浮点数与整数的表示、量化误差的来源、量化参数的含义
好，咱们今天聊点硬核的。量化到底在干什么？说白了，就是把模型里那些“娇贵”的浮点数，换成“皮实”的整数来存、来算。我刚开始接触这块时，也觉得不就是精度换速度嘛，但真正踩过坑之后才发现，里面的门道比想象中多得多。
4.1 浮点数与整数：计算机里的两种“语言”
先说说浮点数。你想想看，一个 float32 的数，用 32 个比特位来表示一个数。它分成三部分：符号位、指数位、尾数位。这设计其实挺巧妙的——既能表示很大的数，又能表示很小的数。但代价呢？计算慢，占内存。
整数就简单粗暴多了。一个 int8，8 个比特位，范围就是 -128 到 127。没有指数，没有尾数，就是纯粹的二进制。计算快，省内存。但问题是，模型里的权重和激活值，动不动就是零点几、几百上千的，整数根本装不下啊。
所以量化的核心思路就是：找个映射关系，把浮点数“压缩”到整数空间里。我习惯把这个过程叫做“翻译”——把浮点数的“语言”翻译成整数的“语言”。
核心公式（简化版）：
量化值 = round(浮点值 / scale) + zero_point反量化：浮点值 ≈ (量化值 - zero_point) * scale
这里的 scale 是缩放因子，zero_point 是零点偏移。这两个参数，就是量化过程中最重要的“翻译官”。
4.2 量化误差：到底损失了什么？
量化不是无损的。误差的来源主要有三个，我一个个说。
4.2.1 舍入误差
这是最直观的。浮点数 3.14159，量化成整数后可能变成 3。那 0.14159 就丢了。这种误差在每次量化时都会发生，属于“硬伤”。
4.2.2 截断误差
浮点数的范围可能比整数能表示的范围大得多。比如某个权重是 128.5，但 int8 最大只能表示 127。那 1.5 就被“截断”了。嗯，这里要注意，截断带来的误差往往比舍入更严重。
4.2.3 量化粒度误差
这个我重点说一下。量化不是对整个模型用一个 scale，而是分组的。比如 q4_0 是按 32 个权重一组，每组共享一个 scale。如果这 32 个权重的分布差异很大，那量化误差就会很大。我在项目中遇到过，某些层的权重分布特别不均匀，用 q4_0 量化后精度掉得厉害，后来换成 q5_1 才稳住。
避坑指南：我曾经以为量化误差只跟比特数有关，后来发现分组大小和 scale 的精度同样关键。如果你发现某个模型量化后效果特别差，先检查一下是不是某些层的权重分布太“奇葩”。
4.3 量化参数详解：q4_0, q5_1, q8_0 到底代表什么？
GGUF 格式里，量化参数的名字其实挺有规律的。我来拆解一下。
| 参数名 | 含义 | 比特数 | 分组大小 | 我的评价 |
|---|---|---|---|---|
| q4_0 | 4 比特量化，0 表示对称量化（无零点偏移） | 4.5 比特/权重 | 32 | 入门级，速度快，精度尚可 |
| q4_1 | 4 比特量化，1 表示非对称量化（有零点偏移） | 5.0 比特/权重 | 32 | 比 q4_0 精度稍好，但占用略高 |
| q5_0 | 5 比特量化，对称 | 5.5 比特/权重 | 32 | 精度和速度的平衡点 |
| q5_1 | 5 比特量化，非对称 | 6.0 比特/权重 | 32 | 我个人最常用的，精度损失很小 |
| q8_0 | 8 比特量化，对称 | 8.5 比特/权重 | 32 | 几乎无损，但体积只比 fp16 小一半 |
你可能会问，为什么 q4_0 是 4.5 比特而不是 4 比特？因为每组 32 个权重，还要额外存一个 scale（通常是 16 比特的浮点数）。所以平均下来，每个权重占的比特数就是 4 + 16/32 = 4.5。
注意：不要盲目追求低比特。我见过有人为了省空间，把模型量化到 q2_0，结果生成出来的文本完全没法看。量化不是越低越好，而是要在精度和速度之间找到平衡。
4.4 知识体系：量化原理全景图
下面这张图，是我自己梳理的量化原理知识结构。你看一眼，应该就能明白各个概念之间的关系。
这张图把浮点数、整数、量化参数和误差来源串在了一起。你从核心出发，沿着分支往下看，就能理解每个概念的位置和作用。
4.5 小结
量化原理说白了就三件事：怎么表示、怎么映射、误差从哪来。浮点数和整数各有优劣，量化就是取长补短。而 q4_0、q5_1 这些参数，其实就是不同的“翻译方案”。选哪个，取决于你对精度和速度的容忍度。
我个人建议，新手先从 q5_1 开始试。如果精度能接受，再尝试 q4_1 或 q4_0。如果精度掉得厉害，就换 q8_0。别一上来就追求极致压缩，稳扎稳打才是正道。