精度损失根因分析：FP16/INT8量化原理、量化误差来源
大家好，我是你们的老朋友。今天我们来聊聊一个让很多TensorRT新手头疼的问题——精度损失。说白了，就是模型跑得快了，但结果不准了。这背后的根因，其实就藏在FP16和INT8的量化原理里。
我个人习惯把量化比作“压缩”。你想想看，一个高精度的浮点数，比如FP32，占4个字节。你把它压缩成FP16（2字节）或者INT8（1字节），信息量肯定有损失。关键就在于，这个损失到底发生在哪里，以及我们怎么去控制它。
FP16量化原理与误差来源
FP16，也就是半精度浮点数。它的表示范围比FP32窄很多。我在项目中遇到过，一个简单的卷积层，权重从FP32转到FP16，精度下降不到0.1%。但一旦遇到激活值特别大或者特别小的情况，问题就来了。
核心问题：数值溢出与舍入误差
- 溢出：FP16能表示的最大值大约是65504。如果某个权重或激活值超过这个数，直接变成Inf。嗯，这很致命。
- 舍入：FP16的精度只有约3.3位有效数字。比如0.123456在FP16里可能变成0.1235。这种误差在深层网络中会累积。
避坑指南：我曾经调试过一个BERT模型，FP16推理时准确率直接掉到50%。后来发现是LayerNorm层的激活值范围太大，导致溢出。解决办法很简单——在量化前做一次校准，把激活值缩放到合理区间。
INT8量化原理：对称量化与非对称量化
INT8量化更狠。它把浮点数映射到[-128, 127]或者[0, 255]的整数范围。这里有两个主流方案：
| 量化类型 | 映射公式 | 适用场景 |
|---|---|---|
| 对称量化 | q = round(r / s) | 权重（通常对称分布） |
| 非对称量化 | q = round((r - z) / s) | 激活值（ReLU后非负） |
这里s是缩放因子，z是零点偏移。说白了，对称量化假设数据以0为中心对称分布，非对称量化则允许偏移。我个人习惯对权重用对称量化，对激活值用非对称量化——这样能最大程度保留信息。
量化误差的三大来源
误差不是凭空产生的。我总结了三个最常见的“罪魁祸首”：
1. 权重截断误差
当你把FP32权重映射到INT8时，超出[-128, 127]范围的值会被截断。比如一个权重是200.0，映射后变成127。这种截断直接改变了模型参数。
我的经验：有一次我量化一个ResNet-50，发现最后几层卷积的权重分布特别宽。截断后，分类准确率掉了2%。后来我用了per-channel量化，每个通道单独算缩放因子，问题就解决了。
2. 激活值分布偏移
激活值的分布往往不是均匀的。比如ReLU后的输出，大部分值集中在0附近，但偶尔有几个大值。如果你用全局缩放因子，小值的精度会严重损失。
为什么会这样？因为缩放因子是由最大值决定的。最大值很大，小值就被压缩到几个整数区间里，信息几乎全丢了。
技巧：使用calibration数据集，统计激活值的直方图。然后选择KL散度最小的缩放因子。TensorRT的Int8Calibrator就是这么干的。
3. 层融合与精度权衡
TensorRT会做层融合，比如把Conv+BN+ReLU合并成一个算子。这能提升速度，但也会改变数值计算顺序。
举个例子：FP32下，Conv和BN是分开算的。融合后，BN的参数被吸收进Conv的权重里。如果BN的缩放因子很小，融合后的权重可能变得非常小，导致量化时被截断。
警告：我曾经遇到一个模型，层融合后精度下降0.5%。排查了半天，发现是BN层的epsilon参数在融合时被忽略了。解决办法：在量化前，手动把BN层冻结，或者调整epsilon值。
如何诊断精度损失？
当你发现模型精度下降时，别慌。按这个步骤来：
- 逐层对比：用FP32和INT8分别跑一遍，对比每一层的输出。TensorRT提供了
IInspector接口，可以打印每层的数值范围。 - 检查异常层：如果某层的输出分布和FP32差异很大，大概率是量化参数没选好。
- 回退到FP16：如果INT8实在调不好，可以只对部分层用INT8，其他层用FP16。TensorRT支持
per-layer精度控制。
嗯，这里要注意：不是所有模型都适合INT8。像一些对数值极其敏感的模型（比如GAN、超分辨率），强行量化可能得不偿失。我建议先跑FP16，如果精度达标，就别折腾INT8了。
总结
精度损失的根因，说白了就是量化过程中信息的丢失。权重截断、激活值分布偏移、层融合带来的数值变化，是三个最常见的坑。我的建议是：
- 先用FP16试试水，大部分模型都能接受。
- INT8量化时，一定要做校准，别偷懒。
- 遇到精度问题，逐层排查，别盲目调参。
好了，这一章就到这里。下一章我会讲具体的修复技巧，比如怎么用per-channel量化、怎么调整校准数据集。咱们下次见。