3. 模型量化技术：从FP32到INT8的实战之路
量化，说白了就是把模型从「高精度模式」切换到「低精度模式」。FP32的模型就像用游标卡尺量东西，INT8就像用普通直尺。精度肯定有损失，但换来的是速度和体积的巨大优势。我个人习惯把量化看作是「给模型减肥」——减掉的是冗余精度，保留的是核心能力。
3.1 量化原理：FP32到INT8的映射
先搞清楚一件事：量化不是简单的截断。它是个数学映射过程。
FP32的取值范围大约是 ±3.4×10³⁸，而INT8只有 -128 到 127。要把这么宽的数值范围压缩到这么窄的区间，核心就是找到合适的缩放因子（scale）和零点（zero point）。
公式其实很简单：
量化值 = round(浮点值 / scale) + zero_point反过来，反量化就是：
浮点值 = (量化值 - zero_point) × scale这里scale决定了「每格代表多少」，zero_point则处理偏移。我在项目中遇到过一个问题：如果激活值分布不对称（比如ReLU后全是正数），zero_point就能帮我们把INT8的负数区间也利用起来。
关键点：量化的本质是「用离散值近似连续值」。你想想看，一张256级的灰度图看起来已经很细腻了，对吧？INT8的256个等级对大多数推理任务来说，足够了。
3.2 两种主流量化方法：PTQ vs QAT
实际工程中，我们主要用两种方法：后训练量化（PTQ）和量化感知训练（QAT）。
3.2.1 后训练量化（PTQ）
PTQ是最省事的方法。模型训练完，直接拿一小批校准数据跑一遍，统计出每层的数值范围，然后做量化。
步骤很简单：
- 准备好训练好的FP32模型
- 准备几百到几千张校准图片（不用标签）
- 跑一遍前向推理，收集每层的激活值分布
- 根据分布计算scale和zero_point
- 把权重和激活值都量化到INT8
我曾经在一个目标检测项目里用PTQ，校准数据只用了500张图，量化后模型大小直接降到原来的1/4，推理速度提升了2.3倍。精度只掉了0.8%。嗯，这种收益在大多数场景下都是值得的。
我的建议：PTQ适合精度要求不那么苛刻的场景。如果精度损失超过2%，再考虑QAT。
3.2.2 量化感知训练（QAT）
QAT就复杂一些了。它在训练过程中就「模拟」量化效果，让模型学会适应低精度。
具体做法是在前向传播时插入伪量化节点（fake quantization nodes），这些节点会模拟量化和反量化的过程。反向传播时，梯度还是用浮点精度更新——这就是所谓的「直通估计器」（STE）技巧。
# 伪代码示例：QAT中的前向传播
def forward(x):
# 模拟量化
x_q = quantize(x, scale, zero_point)
# 模拟反量化（保持梯度可导）
x_fake = dequantize(x_q, scale, zero_point)
# 用浮点运算
return conv(x_fake, weight_fake)为什么QAT效果更好？因为模型在训练时就「知道」自己将来要被量化，权重会朝着更鲁棒的方向调整。我在做语音识别模型时，PTQ掉精度3.5%，换成QAT后只掉了0.6%。
注意：QAT需要重新训练，训练时间会增加20%-50%。而且需要保留原始训练数据和流程。如果项目周期紧，PTQ可能是更务实的选择。
3.3 量化精度损失分析与补偿策略
量化一定会掉精度，关键是怎么分析损失来源，怎么补偿。
3.3.1 精度损失的主要原因
我总结下来，损失主要来自三个方面：
- 权重分布不均匀：有些层的权重集中在很小的范围内，量化后信息丢失严重
- 激活值有异常值：个别极大或极小的值会拉宽量化范围，导致有效区间被压缩
- 跨层误差累积：每一层的小误差经过多层传递后会被放大
举个例子，我遇到过MobileNetV2量化后精度暴跌的情况。查了半天，发现是深度可分离卷积的权重分布太窄，量化后几乎全变成了0。说白了就是「信息被量化噪声淹没了」。
3.3.2 补偿策略
针对这些问题，我常用的补偿手段有这些：
| 问题类型 | 补偿策略 | 效果 |
|---|---|---|
| 权重分布不均匀 | 逐通道量化（per-channel quantization） | 每通道独立计算scale，精度提升0.5%-1% |
| 激活值有异常值 | 裁剪（clipping）或使用KL散度选择最优阈值 | 避免异常值拉宽量化范围 |
| 跨层误差累积 | 逐层校准（layer-wise calibration） | 每层单独调整量化参数 |
| 整体精度损失大 | 部分层保留FP16或FP32 | 混合精度量化，牺牲少量速度换精度 |
另外，还有一个我经常用的技巧：量化后微调（post-quantization fine-tuning）。量化完模型后，用少量数据再训练几个epoch，只更新量化参数不更新权重。这个方法在多个项目里帮我挽回了1%-2%的精度损失。
避坑指南：我曾经在量化一个BERT模型时，发现第一层和最后一层对精度影响最大。后来我养成了一个习惯：先量化所有层，然后逐层回退到FP16，看哪一层回退后精度恢复最明显。那几层就是「敏感层」，需要特殊处理。
3.4 实战建议
说了这么多，最后给几条实在的建议：
- 先做PTQ试试水：大部分模型PTQ就够了，别一上来就搞QAT
- 校准数据要选对：校准数据要覆盖真实场景的分布，别用训练集
- 逐层分析精度：用工具（比如NVIDIA的量化分析工具）看每层的量化误差
- 混合精度是王道：敏感层用FP16，其他层用INT8，速度和精度都能兼顾
量化这件事，说白了就是「用精度换效率」。你只要找到那个平衡点，就能在边缘设备上跑出接近云端的效果。我做了这么多量化项目，最大的体会是：别怕掉精度，怕的是不知道掉在哪里。