1、量化感知训练入门：什么是量化感知训练（QAT）、QAT与PTQ的区别、QAT的核心思想与优势
大家好，欢迎来到《量化感知训练与模型压缩实战》的第一章。
咱们今天聊点实在的。量化感知训练，英文叫 Quantization-Aware Training，简称 QAT。很多刚入行的朋友一听到这个名字，就觉得它很神秘。其实说白了，它就是一种在训练过程中就把量化效果考虑进去的技术。
我个人习惯把 QAT 理解为：让模型在训练时就学会适应低精度计算。你想想看，一个模型在 FP32 下跑得飞起，突然把它扔到 INT8 的环境里，它肯定会水土不服。QAT 就是提前给它打预防针。
什么是量化感知训练（QAT）
量化感知训练，本质上是一种模拟量化的训练方法。在训练的前向传播过程中，我们故意插入一些量化-反量化的操作，让模型权重和激活值提前体验一下低精度的“生活”。
我记得第一次接触这个概念时，我还在想：这不就是给模型穿小鞋吗？后来发现，这双小鞋穿好了，模型反而跑得更快、更省资源。
具体来说，QAT 会在训练时做这样几件事：
- 在前向传播中，对权重和激活值进行伪量化（fake quantization）
- 保留浮点精度的梯度用于反向传播
- 让模型参数在训练过程中逐渐适应量化误差
嗯，这里要注意：虽然前向传播用了低精度模拟，但反向传播依然用的是全精度梯度。这是 QAT 能保持较高精度的关键所在。
核心要点：QAT 不是真的把模型转成 INT8 再训练，而是在训练过程中模拟 INT8 的行为，让模型学会抵抗量化带来的精度损失。
QAT 与 PTQ 的区别
说到 QAT，就不得不提它的老对手——PTQ（Post-Training Quantization，训练后量化）。很多同学会问：既然 PTQ 那么简单，为什么还要学 QAT？
咱们直接上表格对比一下：
| 对比维度 | PTQ（训练后量化） | QAT（量化感知训练） |
|---|---|---|
| 是否需要训练 | 不需要，直接量化 | 需要，在训练中模拟量化 |
| 精度损失 | 较大，尤其小模型 | 较小，可接近全精度 |
| 耗时 | 几分钟到几小时 | 需要完整训练时间 |
| 适用场景 | 大模型、精度要求不高 | 小模型、精度敏感场景 |
| 数据需求 | 少量校准数据 | 完整训练数据 |
我在项目中遇到过这样的情况：一个 MobileNetV2 模型，直接用 PTQ 量化到 INT8，精度掉了 3 个点。换成 QAT 之后，只掉了 0.5 个点。差距就是这么明显。
为什么会这样？因为 PTQ 是事后补救，它不知道量化误差会怎么影响后续层的计算。而 QAT 在训练时就考虑了这些误差，模型自己学会了怎么“绕开”那些容易出问题的数值区间。
我的建议：如果你的模型比较大（比如 ResNet-50 以上），PTQ 可能够用。但如果是轻量级模型（比如 MobileNet、ShuffleNet），建议直接上 QAT，省得后面返工。
QAT 的核心思想
QAT 的核心思想其实就一句话：让量化误差成为训练的一部分。
具体怎么实现呢？我们来看一个简化的伪量化公式：
# 伪量化操作（Fake Quantization）
def fake_quantize(x, scale, zero_point):
# 1. 量化：将浮点数映射到整数
x_int = torch.round(x / scale) + zero_point
# 2. 限制范围（比如 INT8 就是 [-128, 127]）
x_int = torch.clamp(x_int, -128, 127)
# 3. 反量化：转回浮点数，但已经带了量化误差
x_fp = (x_int - zero_point) * scale
return x_fp你看，前向传播时，我们先把浮点数转成 INT8，再转回浮点数。这个过程会引入舍入误差。但反向传播时，我们用的是 Straight-Through Estimator（STE），直接把梯度传过去，不经过量化操作。
说白了，就是让模型知道：你现在的输出是有误差的，你要学会在这种误差下还能做出正确的判断。
核心公式：QAT 的损失函数中，量化误差被隐式地包含在模型输出中，梯度通过 STE 直接回传到全精度权重上。
QAT 的优势
QAT 的优势，我总结为以下四点：
- 精度高：这是最大的优势。QAT 通常能保持 99% 以上的全精度模型性能，而 PTQ 可能只能保持 95%-98%。
- 适应性强：QAT 可以针对特定的量化配置（比如对称量化、非对称量化、per-channel 量化）进行优化。
- 部署友好：经过 QAT 训练的模型，部署到 INT8 硬件上时，几乎不需要额外的调优工作。
- 可定制化：你可以自由选择哪些层做量化、哪些层保持浮点，灵活性很高。
我曾经在一个边缘设备项目上吃过亏。当时图省事用了 PTQ，结果模型在设备上推理时，某些类别识别率直接掉到了 60%。后来换成 QAT，重新训练了两天，识别率回到了 92%。嗯，从那以后，我对 QAT 就格外重视了。
避坑指南：我曾经以为 QAT 可以完全替代 PTQ，后来发现不是这样。如果你的模型非常大（比如 GPT 级别），QAT 的训练成本太高，PTQ 反而是更务实的选择。另外，QAT 需要完整的训练数据和训练流程，如果数据量不够，效果可能还不如 PTQ。
什么时候该用 QAT？
我给大家一个简单的判断标准：
- 模型参数量小于 10M → 强烈建议 QAT
- 模型参数量在 10M-100M → 先试 PTQ，精度损失超过 1% 就换 QAT
- 模型参数量大于 100M → 优先 PTQ，除非精度要求极其苛刻
当然，这只是我个人的经验。实际项目中，还要考虑硬件平台、推理框架、延迟要求等因素。
好了，第一章的内容就到这里。我们讲了 QAT 是什么、它和 PTQ 的区别、核心思想以及优势。下一章，我会带大家手写一个简单的 QAT 训练流程，看看代码层面是怎么实现的。
记住一句话：量化不是目的，部署才是。QAT 就是连接训练和部署的那座桥。