4. 模型量化原理：FP32、FP16、INT8、INT4精度对比

量化这个话题，说白了就是给模型“减肥”。

我刚开始接触量化时，总觉得这是个玄学——把好好的浮点数砍成整数，模型还能用吗？后来在边缘设备上跑大模型，发现不量化根本跑不动。嗯，今天我们就聊聊量化的那些事。

4.1 为什么需要量化？

大模型动辄几十亿参数，FP32精度下，一个70B的模型光参数就要280GB显存。你想想看，边缘设备哪有这条件？

量化就是把模型从“高精度”压缩到“低精度”。比如从FP32降到INT8，模型体积直接缩小4倍，推理速度也能提升2-4倍。我在项目中遇到过，一个原本跑不动的BERT模型，量化到INT8后，在树莓派上居然能实时推理了。

4.2 常见精度格式对比

先看看几种主流精度格式：

精度格式	比特数	表示范围	精度	典型应用
FP32	32	±3.4×10³⁸	高	训练、基准推理
FP16	16	±6.5×10⁴	中	混合精度训练
INT8	8	-128~127	较低	边缘推理
INT4	4	-8~7	低	极致压缩

FP32是“标准答案”，但太占地方。FP16在训练时常用，我习惯用它做混合精度训练，速度能快一倍。INT8是边缘部署的主力，INT4则更激进——压缩比高，但精度损失也大。

4.3 对称量化与非对称量化

量化时，我们需要把浮点数映射到整数。这里有两种主流方式：

对称量化

说白了，就是让零点的映射是对称的。比如FP32的0映射到INT8的0，正负范围对称。

// 对称量化公式
scale = max(|x_min|, |x_max|) / 127
x_int = round(x_float / scale)

我刚开始做量化时，默认就用对称量化。它实现简单，但有个问题——如果数据分布不对称，比如ReLU后的激活值全是正数，那负数区间就浪费了。

非对称量化

非对称量化引入了“零点偏移”，可以更好地适配数据分布。

// 非对称量化公式
scale = (x_max - x_min) / 255
zero_point = round(-x_min / scale)
x_int = round(x_float / scale) + zero_point

我在项目中遇到过，对于激活值分布严重偏斜的网络，非对称量化能多保留1-2%的精度。当然，代价是计算稍微复杂一点。

4.4 量化误差的来源

量化不是无损的。误差主要来自三个方面：

1. 截断误差：超出表示范围的值被强行截断。比如INT8只能表示-128到127，超过127的值就被“砍”成127。
2. 舍入误差：浮点数映射到整数时的精度损失。比如3.14159量化到INT8，只能近似为3。
3. 梯度误差：量化操作不可导，反向传播时梯度近似会引入误差。

我记得有一次，量化后的模型在某个类别上准确率暴跌。排查后发现，那个类别的特征值恰好落在量化边界上，被截断得厉害。

4.5 如何缓解量化误差？

别慌，误差是可以缓解的。我总结了几条实战经验：

• 校准数据集：用少量真实数据统计量化参数，比随机采样准得多。
• 逐通道量化：每个通道独立计算scale和zero_point，精度更高。
• 量化感知训练（QAT）：在训练过程中模拟量化，让模型自己适应低精度。
• 混合精度：敏感层用FP16，不敏感层用INT8。我习惯先跑一遍敏感度分析。

4.6 量化效果对比

拿一个实际案例来说。我在Jetson Nano上部署MobileNetV3，对比不同精度的效果：

精度	模型大小	推理延迟	Top-1准确率
FP32	22MB	45ms	75.2%
FP16	11MB	28ms	75.1%
INT8	5.5MB	12ms	74.6%
INT4	2.8MB	8ms	72.3%

你看，INT8只掉了0.6%的准确率，但速度提升了近4倍。INT4虽然更快，但精度损失有点大，适合对精度要求不高的场景。

4.7 量化流程总览

下面这张图是我自己总结的量化流程，帮你理清思路：

这张图展示了我常用的量化流程。先拿校准数据统计分布，算出scale和zero_point，然后量化、验证。如果精度掉太多，就回退调整策略——比如换成量化感知训练，或者对敏感层保留FP16。

4.8 实战建议

最后，分享几条我踩坑后的心得：

• 先跑一遍敏感度分析：不是所有层对量化都敏感。我习惯逐层量化，看哪层掉精度最多，重点优化。
• 校准数据要覆盖真实分布：用训练集做校准，但别忘了加一些真实场景的数据。我吃过亏——训练集和实际场景分布不同，量化后精度崩了。
• INT4要谨慎：除非你特别需要压缩比，否则INT8是更稳妥的选择。INT4的精度损失很难补回来。
• 量化后一定要做端到端测试：单元测试通过不代表整体没问题。我遇到过量化后某个分支逻辑出错，排查了一整天。

---

公众号:蓝海资料掘金营，微信deep3321