4、PyTorch模型量化入门：为什么要量化？动态量化与静态量化的区别。
好，咱们今天聊聊量化。
说实话，很多做AI的朋友一听到「量化」两个字，第一反应就是「精度会掉」。我刚开始接触这个领域时也是这么想的。直到有一次，我在一个边缘设备项目里，模型死活跑不到实时——FP32的ResNet-50在Zynq上推理一帧要200多毫秒，这谁受得了？后来做了INT8量化，直接干到30毫秒以内，精度只掉了0.3%。嗯，从那以后，我对量化的态度就彻底变了。
4.1 为什么要量化？—— 三个核心痛点
说白了，量化就是把模型里的权重和激活值，从32位浮点数（FP32）压缩到更低位宽，比如INT8、INT4甚至二进制。你想想看，一个FP32的数值占4个字节，INT8只占1个字节，这存储和带宽一下子就省了75%。
但这不是全部。我总结下来，量化要解决的核心问题有三个：
- 存储和带宽瓶颈：大模型动不动几百兆，FP32版本在嵌入式设备上根本塞不进片内BRAM。量化后模型体积直接缩到四分之一，DDR带宽压力也小很多。
- 计算效率：FP32的乘加运算在FPGA上需要DSP资源，而且延迟高。INT8的乘加可以用LUT+进位链实现，吞吐量能翻好几倍。我在项目中实测过，同样的DSP数量，INT8的算力是FP32的4倍左右。
- 功耗：这个容易被忽略。数据位宽越低，片上翻转功耗就越低。对于电池供电的设备，量化几乎是必选项。
核心观点：量化不是「精度换速度」的无奈之举，而是「在可接受的精度损失下，换取数量级的效率提升」。我个人的习惯是，只要目标平台支持INT8，我第一版就会直接做量化训练，而不是先训FP32再后量化。
4.2 动态量化 vs 静态量化 —— 本质区别在哪？
很多初学者会搞混这两个概念。我简单说：动态量化只在推理时对激活值做量化，权重提前量化好；静态量化则是把激活值的量化参数也提前算好，推理时直接查表。
咱们拆开来看。
4.2.1 动态量化（Dynamic Quantization）
动态量化，说白了就是「偷懒版」量化。权重在训练后直接转成INT8存起来，但激活值呢？推理的时候才去统计它的范围，然后动态算scale和zero_point。
这样做的好处很明显：不需要校准数据集，也不需要额外的训练步骤。你拿一个训好的FP32模型，一行代码就能转成动态量化版本。
但代价呢？每次推理都要额外算一次激活值的min/max，这本身就有开销。而且动态量化的精度通常不如静态量化，因为它的量化参数是「在线」算的，不够精细。
我个人习惯：动态量化适合对延迟不敏感、但模型体积必须小的场景。比如一些离线批处理任务，或者模型部署在CPU上做服务端推理。
小技巧：PyTorch里做动态量化非常简单，用 torch.quantization.quantize_dynamic 一行搞定。我经常在模型导出前先用它快速验证一下量化后的精度，如果掉点太多，再考虑静态量化。
4.2.2 静态量化（Static Quantization）
静态量化就「讲究」多了。它需要你准备一小批校准数据（通常几百张图片就够了），跑一遍前向传播，统计每一层激活值的分布。然后根据这个分布，提前算出每个激活张量的scale和zero_point。
这样做的好处是：推理时不需要再算量化参数了，直接查表就行。而且因为校准数据是精心挑选的，量化参数更贴合实际分布，精度通常比动态量化高1-2个点。
但代价也很明显：需要额外的校准步骤，而且校准数据集的选择会影响最终精度。我曾经在一个项目中，用了训练集的子集做校准，结果精度掉了2%。后来换成验证集，只掉了0.5%。嗯，这里要注意，校准数据最好能覆盖真实推理时的数据分布。
避坑指南：我曾经在静态量化时犯过一个低级错误——校准数据里全是白天场景的图片，结果模型在夜间场景下推理时，激活值分布完全偏移，精度直接崩了。所以校准数据一定要有代表性，最好混合各种工况。
4.3 两种量化的对比总结
| 对比维度 | 动态量化 | 静态量化 |
|---|---|---|
| 权重处理 | 提前量化 | 提前量化 |
| 激活值处理 | 推理时动态计算 | 校准后提前计算 |
| 是否需要校准数据 | 不需要 | 需要（几百张即可） |
| 推理速度 | 中等（有额外计算开销） | 快（直接查表） |
| 精度损失 | 较大（通常1-3%） | 较小（通常0.5-1%） |
| 适用场景 | CPU推理、模型体积敏感 | FPGA/GPU推理、延迟敏感 |
4.4 什么时候选动态？什么时候选静态？
我个人的经验是：
- 如果你只是想把模型体积缩小，部署在CPU上做离线推理，动态量化就够了。PyTorch官方也推荐先试动态量化，不行再上静态。
- 如果你要把模型部署到FPGA上做实时推理，比如用FINN框架做INT8加速，那必须用静态量化。因为FPGA的推理流水线需要提前知道每一层的量化参数，动态量化那种「边推理边算」的方式在硬件上根本跑不起来。
- 如果你对精度要求极高，比如医疗影像、自动驾驶，那静态量化是首选。而且我建议做量化感知训练（QAT），而不是训练后量化（PTQ）。这个后面章节会详细讲。
一句话总结：动态量化是「快糙猛」，静态量化是「精雕细琢」。在FPGA部署这条路上，静态量化是绕不开的坎。但别怕，掌握了校准和量化参数的计算方法，你会发现它其实比动态量化更可控。
4.5 一个简单的PyTorch代码示例
咱们用代码感受一下区别。假设你有一个训练好的模型 model：
import torch
import torch.quantization as quant
# 动态量化：一行搞定
quantized_model_dynamic = quant.quantize_dynamic(
model, {torch.nn.Linear, torch.nn.Conv2d}, dtype=torch.qint8
)
# 静态量化：需要三步
# 1. 准备量化配置
model.qconfig = quant.get_default_qconfig('fbgemm')
# 2. 插入量化/反量化节点
model_prepared = quant.prepare(model, inplace=False)
# 3. 用校准数据跑一遍前向
with torch.no_grad():
for data in calibration_loader:
model_prepared(data)
# 4. 转换为量化模型
quantized_model_static = quant.convert(model_prepared, inplace=False)
看到了吧？动态量化就一行，静态量化要四步。但静态量化多出来的这几步，换来的是更稳定的精度和更快的推理速度。我个人习惯是：先用动态量化快速验证可行性，如果精度达标就直接用；如果不达标，再花时间做静态量化校准。
提示：在FINN框架里，静态量化是默认选项。它会自动帮你做校准和量化参数提取，你只需要提供校准数据集即可。后面章节我会手把手带你走一遍FINN的量化流程。
好了，这一章就到这里。下一章咱们会深入静态量化的细节——校准数据集怎么选？量化参数怎么算？以及如何在PyTorch里手动控制每一层的量化位宽。到时候见。