第2章精度损失的本质

2、精度损失的本质：量化误差的来源分析

做模型量化这么久，我见过太多人一上来就调参、试各种校准方法，结果精度还是掉得一塌糊涂。其实吧，很多问题从一开始就注定了——你没搞清楚精度损失到底从哪来的。

量化误差，说白了就是「信息丢失」。你把一个高精度的浮点数，硬塞进一个低精度的整数容器里，信息必然有损失。但损失在哪、损失多少、能不能补回来，这才是我们要聊的核心。

我个人习惯把量化误差的来源分成三类：舍入误差、截断误差、动态范围不匹配。这三兄弟，每个都够你喝一壶的。

舍入误差，你肯定不陌生。就是把浮点数映射到最近的量化整数时，丢掉的那点小数精度。

举个例子，你用 INT8 量化一个 float32 的权重。假设 scale 是 0.01，那么 0.235 这个值会被量化成 24（因为 0.235 / 0.01 = 23.5，四舍五入到 24）。反量化回来是 0.24，误差 0.005。

单个值看，0.005 好像没啥。但一个模型里几百万、几千万个参数，每个都丢这么一点，累积起来就吓人了。

  关键点： 舍入误差是均匀分布的，理论上期望为 0。但实际中，由于权重分布不均匀，误差会偏向某个方向，导致模型输出偏移。

我在项目中遇到过一件事：一个分类模型，量化后准确率从 92% 掉到 88%。排查了半天，发现是某一层的权重分布特别集中，大部分值都在 0.1 到 0.2 之间。量化后，这些值几乎都被映射到了同一个整数上——信息直接坍缩了。

我的建议： 量化前先看看权重分布。如果分布太集中，考虑用更细粒度的量化（比如 per-channel），或者先做一层 BN 融合，把分布拉开一点。

截断误差和舍入误差不一样。舍入是「四舍五入」，截断是「直接砍掉」。说白了，就是超出量化范围的值，被硬生生地截断了。

你想想看，INT8 的范围是 [-128, 127]。如果你的浮点数最大值是 200，scale 是 1.0，那 200 这个值会被截断到 127。反量化回来是 127，误差 73。

这可不是小数精度的问题了。这是整个值都被扭曲了。

截断误差最常出现在哪里？激活值。权重的分布相对稳定，但激活值受输入数据影响很大。一张亮一点的图片、一个极端一点的文本，都可能让激活值冲出量化范围。

注意： 截断误差对模型精度的影响，通常比舍入误差大一个数量级。我曾经在一个检测模型上试过，仅仅因为一个层的激活值被截断了 5%，mAP 直接掉了 3 个点。

怎么避免？两个思路：

选好校准集：校准集要覆盖真实场景的极端情况。别只用标准测试集，加一些噪声、光照变化的数据进去。
用 KL 散度选阈值：不要用 min/max 做范围，用 KL 散度找一个「损失最小」的截断点。说白了，就是允许少量值被截断，但保证大部分值的信息完整。

这个最容易被忽略。舍入和截断好歹能算出来，动态范围不匹配是「看起来没问题，跑起来就崩」。

什么叫动态范围不匹配？就是量化时用的 scale 和 zero_point，跟实际数据的分布不匹配。

举个例子：你用校准集算出来的 scale 是 0.01，但实际推理时，某一层的激活值突然变得很小（比如都在 0.001 量级）。这时候，0.01 的 scale 就太大了，所有值都被量化到 0 附近，信息几乎全丢。

反过来也一样。如果实际值突然变大，scale 太小，就会导致大量截断。

我记得有一次，一个语音模型量化后，在安静环境下表现很好，一到嘈杂环境就崩。排查了很久，发现是输入信号的动态范围变了，导致第一层卷积的激活值分布完全偏移。校准集上算的 scale，根本不适用于真实场景。

  本质原因： 量化参数（scale、zero_point）是在校准集上静态算出来的，但模型在推理时的数据分布是动态变化的。两者不匹配，精度必然掉。

怎么解决？

为了方便你快速判断问题，我整理了一个表格：

如果你遇到量化后精度下降，别急着调参。先定位问题出在哪类误差上。我一般这么干：

一个小技巧： 我习惯在量化后的模型里插入一些「监控节点」，打印每一层激活值的 min、max、mean。这样能快速定位到问题层，不用逐层手动对比。

嗯，到这里你应该对量化误差的来源有了清晰的认识。记住一句话：量化不是简单的「转格式」，而是信息压缩的艺术。搞懂了误差从哪来，你才能知道怎么修。

下一章，我会带你看看具体的修复策略——从校准集选择到 QAT，一步步把精度拉回来。