量化理论基础：对称量化与非对称量化

各位同学，今天我们来聊聊量化。说实话，量化这个话题在嵌入式AI芯片里太重要了。我做了这么多年芯片，见过太多团队在量化上栽跟头。你想想看，一个模型在GPU上跑得飞起，一部署到嵌入式设备上就崩了，十有八九是量化没做好。

量化说白了，就是把浮点数变成整数。为什么要这么做？因为嵌入式芯片里，整数运算比浮点快得多，功耗也低得多。我见过一个项目，量化后推理速度提升了4倍，功耗降了60%。但代价是什么？精度损失。所以我们要找到那个平衡点。

对称量化 vs 非对称量化

先说说两种最基本的量化方式。对称量化，就是量化后的零点对应浮点数的0。非对称量化呢，零点可以偏移。

对称量化的公式很简单：

q = round(x / scale)

其中scale = max(|x|) / (2^(n-1) - 1)。n是量化位数，比如8位量化就是127。

我个人习惯在权重量化时用对称量化。为什么？因为权重的分布通常是对称的，或者说接近对称。我在项目中遇到过用非对称量化权重的案例，结果精度反而下降了0.5%。后来一查，是零点偏移引入了额外的计算开销。

非对称量化的公式：

q = round(x / scale) + zero_point

这里zero_point可以是非零的。scale = (max - min) / (2^n - 1)。

非对称量化更适合激活值。你想想看，ReLU的输出全是非负的，用对称量化会浪费一半的量化范围。我建议激活值量化优先考虑非对称方式。

量化参数：scale和zero_point

这两个参数是量化的核心。scale决定了步长，zero_point决定了偏移。

计算scale的方法：

# 对称量化
scale = max(abs(x)) / 127.0

# 非对称量化
scale = (max(x) - min(x)) / 255.0
zero_point = round(-min(x) / scale)

嗯，这里要注意。scale的计算依赖于统计量。你用什么数据来统计？这就引出了下一个话题——校准数据集。

校准数据集选择

校准数据集，说白了就是用来统计激活值分布的数据。你选什么样的数据，直接决定了量化效果。

我见过最典型的错误：用训练集做校准。训练集数据量太大，而且分布和实际推理数据可能不一样。结果量化后的模型在测试集上表现很好，一上线就崩了。

正确的做法：

• 从验证集中随机抽取500-1000张图片（或样本）
• 确保覆盖各种典型场景
• 不要用数据增强后的样本
• 如果可能，用实际部署场景的数据

我曾经在一个安防项目中，校准数据集只用了白天场景的图片。结果晚上部署时，模型精度直接掉了8%。后来加了夜间数据重新校准，问题才解决。

量化误差分析

量化误差主要来自三个方面：

1. 截断误差：超出量化范围的值被截断
2. 舍入误差：浮点数到整数的舍入
3. 累积误差：多次量化操作误差的累积

我习惯用这个公式来评估量化误差：

量化误差 = |x - dequantize(quantize(x))|

其中dequantize就是反量化：

x_hat = (q - zero_point) * scale

在实际项目中，我会做两件事：

• 逐层对比量化前后的输出，看哪一层误差最大
• 用余弦相似度评估整体精度损失

我记得有一次，逐层分析发现某个卷积层的量化误差特别大。后来发现是这一层的权重分布太分散，量化范围没用好。改用per-channel量化后，误差降了60%。

最后说一句，量化不是一锤子买卖。我建议在模型部署后，持续监控量化效果。如果发现精度下降，重新校准一下可能就解决了。