一、量化基础概念：什么是模型量化、为什么需要量化、量化的数学原理
大家好，我是你们这堂课的主讲。今天咱们聊聊模型量化。
说实话，量化这个概念，在我刚入行那会儿，还是个「锦上添花」的技巧。但现在不一样了。大模型遍地跑，显存不够用，推理速度跟不上——量化已经从「加分项」变成了「必选项」。
我个人习惯把量化比作「压缩饼干」。你想想看，原本一个 FP32 的模型，体积大、吃得慢。量化之后，体积小了，跑得快了，而且——只要方法得当——精度损失小到几乎可以忽略。
好，咱们正式开始。
1.1 什么是模型量化？
模型量化，说白了就是：把模型里的高精度数值（比如 FP32），用低精度数值（比如 INT8）来表示。
举个例子。你训练好的模型里，权重可能是 0.12345678 这样的浮点数。量化之后，它可能变成了 12（INT8 表示）。嗯，看起来粗糙了，但效果呢？
核心思想：用更少的比特数，去近似表达原来的数值分布。只要映射关系选得好，精度损失就能控制在可接受范围内。
我在项目中遇到过一位同事，他总觉得量化就是「丢精度」，死活不肯用。后来我们做了一个对比实验：FP32 模型和 INT8 量化模型，在同一个测试集上跑，准确率只差了 0.3%。但推理速度提升了 2.5 倍，显存占用减少了 60%。
从那以后，他再也没说过量化不好。
1.2 为什么需要量化？
这个问题其实很实在。你想想看，现在的大模型动不动就是几十亿、上百亿参数。如果全部用 FP32 存，一张 A100 80G 的卡都装不下一个 70B 的模型。
量化能带来三个最直接的好处：
- 模型体积变小：从 FP32 到 INT8，体积直接缩到 1/4。从 FP32 到 INT4，更是缩到 1/8。
- 推理速度变快：低精度计算在 GPU 上更快。INT8 的吞吐量通常是 FP32 的 2-4 倍。
- 显存占用降低：同样的显存，能塞下更大的模型，或者跑更大的 batch size。
我的经验：在实际部署中，我建议优先考虑 INT8 量化。它是个「甜点」——精度损失小，加速效果明显。INT4 虽然压缩率更高，但精度波动较大，需要仔细调参。
我曾经在一个推荐系统项目里，模型体积从 2.3GB 量化到 580MB。部署到边缘设备上，延迟从 120ms 降到了 35ms。客户当场就拍板了。
1.3 量化的数学原理
好，接下来是硬核部分。咱们聊聊量化背后的数学。
量化的本质，就是找一个映射函数，把浮点数范围映射到整数范围。这个映射可以是线性的，也可以是非线性的。实际工程中，99% 的情况都用线性映射。
线性量化有两个流派：对称量化 和 非对称量化。
1.3.1 对称量化
对称量化的核心思想是：0 映射到 0。也就是说，浮点数的 0，量化之后还是 0。
它的映射公式很简单：
Q = round(S * R)
其中：
R = 原始浮点数值
Q = 量化后的整数值
S = 缩放因子（scale），S = (2^(n-1) - 1) / max(|R|)
n = 量化位数（比如 INT8 就是 8）举个例子。假设你的浮点数范围是 [-1.0, 1.0]，要量化到 INT8（范围 [-128, 127]）。
那么 S = 127 / 1.0 = 127。浮点数 0.5 量化后就是 round(127 * 0.5) = 64。
对称量化的特点：实现简单，计算高效。但缺点是，如果浮点数分布不对称（比如大部分值在正半轴），会浪费一部分量化范围。
1.3.2 非对称量化
非对称量化更灵活。它允许浮点数的 0 映射到整数范围内的任意值。
公式稍微复杂一点：
Q = round(S * (R - Z))
其中：
R = 原始浮点数值
Q = 量化后的整数值
S = 缩放因子，S = (2^n - 1) / (max(R) - min(R))
Z = 零点偏移（zero point），Z = round(-S * min(R))还是刚才那个例子。浮点数范围 [-1.0, 1.0]，量化到 INT8（范围 [0, 255]）。
S = 255 / (1.0 - (-1.0)) = 127.5
Z = round(-127.5 * (-1.0)) = 128
浮点数 0.5 量化后就是 round(127.5 * (0.5 - (-1.0))) = round(191.25) = 191。
我的建议：非对称量化在处理 ReLU 激活值（全是非负数）时特别好用。因为它能充分利用整个整数范围，不会浪费一半的编码空间。
1.3.3 对称 vs 非对称：怎么选？
| 对比维度 | 对称量化 | 非对称量化 |
|---|---|---|
| 实现复杂度 | 低 | 中 |
| 计算效率 | 高（无零点偏移计算） | 中（需要处理零点） |
| 数值利用率 | 低（分布不对称时浪费） | 高（自适应分布） |
| 适用场景 | 权重、对称分布的激活值 | ReLU 激活值、非对称分布 |
我个人习惯是：权重用对称量化，激活值用非对称量化。这个组合在大多数场景下效果都不错。
注意：量化不是万能的。如果模型本身精度就不高（比如训练时就没收敛好），量化后精度可能会崩。我曾经踩过这个坑——一个分类模型准确率只有 85%，量化后直接掉到 72%。后来发现是训练数据有问题。先把模型训好，再谈量化。
1.4 量化过程的完整流程
说了这么多理论，咱们看看实际中量化是怎么做的。下面这张图展示了量化的核心流程：
这张图把量化流程串起来了。从 FP32 模型开始，用校准数据集统计数值分布，算出 scale 和 zero point，然后执行量化，最后得到 INT8 模型。
嗯，这里要注意：校准数据集的选择很关键。它应该能代表真实推理时的数据分布。我见过有人随便拿几百张图做校准，结果量化后精度掉了 5%。后来换了跟训练集分布一致的数据，精度损失降到了 0.5%。
1.5 小结
好，咱们把今天的内容捋一捋：
- 模型量化：用低精度近似高精度，压缩模型体积，加速推理。
- 为什么需要：显存不够、速度太慢、边缘设备资源有限。
- 对称量化：0 映射到 0，实现简单，适合权重。
- 非对称量化：带零点偏移，灵活度高，适合激活值。
量化这件事，说白了就是「用精度换效率」。只要换得值，就是好买卖。
我曾经在一个语音识别项目里，把模型从 FP32 量化到 INT8，推理速度提升了 3 倍，而词错误率只增加了 0.2%。客户说：「这跟没损失有什么区别？」
嗯，这就是量化的魅力。
公众号:蓝海资料掘金营，微信 deep3321