第4章量化感知训练（QAT）

第4章：量化感知训练（QAT）——让模型学会“低精度生存”

各位同学，欢迎来到第4章。前几章我们聊了PTQ（训练后量化），那种“一刀切”的方式虽然快，但精度损失有时候真让人头疼。我记得有一次在智能门锁项目上，PTQ后的模型人脸识别准确率直接掉了3个点，产品经理差点没把我吃了。

这时候，就该QAT出场了。说白了，QAT就是让模型在训练阶段就“体验”低精度的生活，学会在这种“恶劣环境”下依然保持高精度。嗯，这章我们好好聊聊这个。

4.1 QAT原理与伪量化节点

QAT的核心思想其实很简单：在训练过程中，模拟量化带来的误差，让模型自己去适应。你想想看，如果一个人从小在嘈杂环境中长大，他自然就学会了在噪音中听清别人说话。QAT就是这个道理。

具体怎么实现呢？关键就在于——伪量化节点（Fake Quantization Node）。

伪量化节点，说白了就是个“模拟器”。它在训练的前向传播中，模拟了量化的过程：

先把浮点数“压缩”成低精度整数（比如INT8）
再“解压缩”回浮点数
这样，模型就“感受”到了量化带来的精度损失

但在反向传播时，它又“装傻”——梯度直接跳过这个节点，用原始的浮点梯度去更新权重。这就是所谓的直通估计器（STE，Straight-Through Estimator）。

核心公式（理解即可）：

前向：Q(x) = round(clamp(x / scale + zero_point, qmin, qmax))

反向：∂Q/∂x ≈ 1（STE近似）

我在项目中遇到过一个问题：伪量化节点加的位置不对，模型直接不收敛了。后来发现，激活函数前后的伪量化节点要分开加，不能混在一起。这是个坑，大家注意。

4.2 QAT训练流程

QAT的训练流程，其实就是在普通训练流程上“插”了几个步骤。我个人习惯把它分成5步：

准备预训练模型：先用FP32精度训练一个收敛的模型。这一步不能省，QAT不是从零开始的。
插入伪量化节点：在权重和激活值的位置插入伪量化节点。嗯，这里要注意，BN层（Batch Normalization）的融合要提前做，否则QAT效果会打折扣。
微调训练：用较小的学习率（通常是原学习率的1/10到1/100）继续训练几个epoch。我一般用3-5个epoch，太多反而容易过拟合。
冻结BN统计量：在微调的最后阶段，把BN层的均值和方差固定下来。这一步很关键，我吃过亏——没冻结的话，量化后的模型推理结果会飘。
导出量化模型：移除伪量化节点，导出真正的INT8模型。

我的小技巧：

在微调阶段，可以先用torch.quantization.prepare_qat()准备模型，训练结束后用torch.quantization.convert()转换。PyTorch官方API已经封装好了，别自己手写伪量化逻辑，容易出bug。

代码示例（PyTorch风格）：

import torch
import torch.quantization

# 1. 加载预训练FP32模型
model = load_pretrained_model()

# 2. 准备QAT
model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')
model = torch.quantization.prepare_qat(model, inplace=True)

# 3. 微调训练（伪代码）
for epoch in range(3):
    for data, target in dataloader:
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

# 4. 冻结BN并转换
model.eval()
model = torch.quantization.convert(model, inplace=True)

警告：

QAT微调时，千万不要用太大的学习率。我曾经手抖设了个0.01，结果模型精度直接崩了，比PTQ还差。建议从1e-5开始试。

4.3 QAT与PTQ的对比与选择

很多同学会问：到底该用PTQ还是QAT？我的回答是：看场景，看预算。

咱们直接上表格对比：

对比维度	PTQ（训练后量化）	QAT（量化感知训练）
精度恢复能力	一般（大模型还行，小模型容易崩）	强（尤其适合小模型和敏感任务）
所需数据量	少（几百张图片即可校准）	多（需要完整训练集）
训练时间	几乎为零（几分钟搞定）	长（需要额外微调几个epoch）
硬件要求	低（CPU也能跑）	高（需要GPU训练）
适用场景	快速部署、大模型、精度要求不高	精度敏感、小模型、边缘端关键任务

我个人总结的选择原则：

如果PTQ后精度损失小于0.5%：直接用PTQ，别折腾QAT。时间就是金钱，我的朋友。
如果PTQ后精度损失在1%-3%：试试QAT，通常能挽回大部分损失。
如果PTQ后精度损失超过3%：必须上QAT，甚至要考虑混合精度量化（部分层用FP16，部分层用INT8）。

我曾经在一个语音唤醒词检测项目上，PTQ后唤醒率从98%掉到了85%，用户天天投诉。后来上了QAT，微调了5个epoch，唤醒率回到了96%。虽然没完全恢复，但至少能用了。嗯，这就是QAT的价值。

避坑指南：

我曾经以为QAT是万能的，结果在一个超轻量级模型（MobileNetV2的0.25倍宽度）上，QAT和PTQ的效果几乎一样。后来分析发现，模型本身容量太小，量化误差已经“无处可逃”了。所以，模型容量也是决定QAT效果的关键因素。

最后说一句：QAT不是银弹。如果你的模型本身训练得就不好，或者数据质量很差，那QAT也救不了你。先把基本功练好，再谈量化优化。

下一章，我们会聊聊混合精度量化的实战技巧。到时候见。

📚 课程目录