1、PTQ概述：什么是模型量化、PTQ与QAT的区别、PTQ的适用场景与优势

1.1 什么是模型量化？

模型量化，说白了就是给模型「减减肥」。

一个训练好的深度学习模型，参数通常是用32位浮点数（FP32）存的。量化就是把这些数，换成更低精度的格式，比如8位整数（INT8）。

你想想看，一个数从32位变成8位，存储空间直接缩到原来的四分之一。计算速度也能快不少——很多硬件对INT8的运算有专门加速。

我刚开始接触量化时，总觉得这玩意儿会掉精度。后来发现，只要方法得当，精度损失完全可以控制在1%以内，甚至不掉点。

举个例子，一个权重是0.7234，量化成INT8后可能变成58。反量化回来是0.7213，误差很小。但存储和计算效率提升巨大。

1.2 PTQ与QAT的区别

量化主要分两种路子：PTQ（训练后量化）和QAT（量化感知训练）。

我简单说说它们的区别——

对比维度	PTQ（训练后量化）	QAT（量化感知训练）
是否需要重新训练	不需要	需要
所需数据量	少量校准数据（几百张图）	完整训练集
耗时	几分钟到几小时	几天到几周
精度损失	通常较小（1-2%）	几乎无损
适用场景	快速部署、资源受限	精度要求极高

PTQ：模型训练好了，直接拿过来量化。只需要跑一遍前向推理，收集一下激活值的分布范围，就能算出量化参数。快，省事。

QAT：在训练过程中就模拟量化效果。前向传播时插入伪量化节点，让模型自己去适应低精度带来的误差。效果好，但代价是得重新训练。

我个人习惯是：先试PTQ。如果精度掉得不多，就直接用了。实在不行，再上QAT。毕竟重新训练一次，时间和算力成本都不低。

1.3 PTQ的适用场景与优势

PTQ最适合哪些场景？我总结了几类——

• 边缘端部署：手机、IoT设备、嵌入式系统。存储和算力都有限，量化是刚需。
• 快速迭代：模型改了一版，想快速看看量化后的效果。PTQ几分钟就能出结果。
• 没有训练资源：只有推理环境，没有GPU做训练。PTQ只需要CPU就能跑。
• 模型太大：比如LLM，几百亿参数。重新训练一次，成本高得吓人。

PTQ的优势也很明显——

1. 速度快：不需要反向传播，不需要梯度计算。跑一遍前向就够了。
2. 数据需求少：几百张图片，或者几千条文本，就能完成校准。
3. 门槛低：不需要懂量化原理，调几个参数就能用。
4. 通用性强：大部分框架都支持，PyTorch、TensorFlow、ONNX都有现成工具。

1.4 PTQ的核心流程

PTQ的流程其实不复杂。我画了一张图，帮你理清思路——

流程其实就这几步：

1. 拿到一个训练好的FP32模型
2. 准备少量校准数据（几百张就够了）
3. 跑一遍前向推理，收集每一层的激活值分布
4. 根据分布计算量化参数（scale和zero_point）
5. 把FP32权重转成INT8
6. 验证精度，如果达标就部署，不达标就调整策略

嗯，这里要注意：校准数据一定要有代表性。我见过有人拿猫的图片去校准一个做车牌识别的模型，结果量化后精度崩了。数据分布要对得上。