模型量化基础：量化的数学原理与工程实践
说到模型量化，我刚开始接触时也觉得挺玄乎的。说白了，就是把模型里那些高精度的浮点数，换成低精度的整数。为什么要这么干？因为部署到手机、边缘设备上时，内存和算力都有限，量化是让模型跑起来的必经之路。
今天咱们就聊聊量化的数学原理、精度与性能的权衡，还有两种主流做法——量化感知训练和后训练量化。嗯，这里面的坑不少，我一个个说。
一、量化的数学原理：对称与非对称量化
量化的核心，就是找一个映射关系，把浮点数范围映射到整数范围。我习惯把这个问题拆成两步：先确定缩放因子，再确定零点偏移。
1. 对称量化
对称量化，顾名思义，就是浮点数的正负范围对称地映射到整数范围。举个例子，int8量化时，浮点数范围 [-a, a] 映射到 [-127, 127]。这里没有零点偏移，公式很简单：
量化值 = round(浮点值 / 缩放因子)
缩放因子 = 最大绝对值 / 127我在项目中遇到过一个问题：如果模型权重分布不对称，比如大部分值在正区间，对称量化就会浪费很多整数表示范围。你想想看，负半区几乎没用上，但正半区却挤得不行。
对称量化的特点：
- 实现简单，硬件友好
- 适合权重分布对称的场景
- 对ReLU这类激活函数输出（全正数）不太友好
2. 非对称量化
非对称量化就灵活多了。它引入了一个零点偏移，让浮点数的最小值映射到整数0，最大值映射到255（uint8）。公式长这样：
量化值 = round(浮点值 / 缩放因子) + 零点偏移
缩放因子 = (最大值 - 最小值) / 255
零点偏移 = round(-最小值 / 缩放因子)说白了，非对称量化能更好地利用整个整数范围。我记得有一次做MobileNet的量化，激活值全是正的，用对称量化精度掉得厉害，换成非对称后立马好了不少。
我的经验：权重通常用对称量化，激活值用非对称量化。这是工业界的标配做法，你照着来基本不会出错。
二、量化精度与性能的权衡
量化不是白给的，它是有代价的。精度和性能之间，你得做个取舍。
| 量化位宽 | 模型大小缩减 | 推理速度提升 | 精度损失 |
|---|---|---|---|
| FP32 → INT8 | 4倍 | 2-4倍 | 通常 < 1% |
| FP32 → INT4 | 8倍 | 4-8倍 | 1-5% |
| FP32 → INT2 | 16倍 | 8-16倍 | 可能 > 10% |
为什么会这样？因为位宽越低，每个量化步长就越大，信息损失就越严重。我曾经试过把BERT量化到INT4，结果准确率直接掉了8个点，后来改用混合精度才救回来。
避坑指南：我曾经以为量化后精度损失可以忽略，结果在某个检测模型上翻车了。后来发现，如果模型本身就有过拟合倾向，量化会放大这个问题。建议你先跑一遍校准集，看看每层的量化误差分布。
三、量化感知训练 vs 后训练量化
这两种方法，说白了就是「训练时就考虑量化」和「训练完再量化」的区别。我个人的建议是：能后训练量化就别折腾训练，除非精度实在扛不住。
1. 后训练量化（PTQ）
PTQ是最省事的方法。你拿一个训练好的FP32模型，跑几批校准数据，统计出每层的激活值范围，然后直接量化。流程如下：
1. 加载预训练FP32模型
2. 准备校准数据集（几百张图就够了）
3. 逐层统计激活值的最小/最大值
4. 计算缩放因子和零点偏移
5. 将权重和激活值转换为INT8
6. 验证精度嗯，这里要注意：校准数据集一定要有代表性。我见过有人拿ImageNet的猫狗图去校准一个车牌识别模型，结果量化后精度崩了。你想想看，激活值分布完全不一样嘛。
小技巧：PTQ时，我习惯用KL散度来选择最优的阈值，而不是直接用最大最小值。这样能砍掉一些极端离群点，让量化更平滑。
2. 量化感知训练（QAT）
QAT就复杂一些了。它在训练过程中模拟量化操作，让模型自己去适应量化带来的误差。具体做法是在前向传播时插入伪量化节点：
# 伪量化操作示例
def fake_quantize(x, scale, zero_point):
# 先量化
x_int = torch.round(x / scale) + zero_point
# 再反量化，保持梯度可导
x_fp = (x_int - zero_point) * scale
return x_fp为什么QAT效果更好？因为模型在训练时就学会了「忍受」量化误差。我记得做YOLOv5量化时，PTQ掉了2个点，QAT只掉了0.3个点。但代价是训练时间多了30%。
什么时候用QAT？
- 模型对精度极其敏感（比如医疗影像）
- 量化位宽很低（INT4以下）
- 模型结构特殊，PTQ效果差
四、我的实战建议
说了这么多，最后给你几条实在的建议：
- 先试PTQ：90%的场景下，PTQ就够了。别一上来就搞QAT，浪费时间。
- 关注离群点：量化误差的根源往往是少数极端值。我习惯先画个激活值分布图，看看有没有尾巴。
- 逐层分析：不要只看整体精度。我曾经发现某个卷积层量化后误差特别大，单独用FP32推理那一层，整体精度就回来了。
- 混合精度：不是所有层都需要INT8。敏感层（比如第一层和最后一层）可以保留FP32，其他层量化。
量化这件事，说白了就是「用信息换效率」。你只要把握好这个度，就能在精度和性能之间找到平衡点。嗯，今天就聊到这儿，下一章咱们聊聊具体的量化工具和框架实现。