一、量化基础概念：从浮点到定点，我们为什么要走这条路？

大家好，我是你们的老朋友。今天咱们聊聊模型量化。

说实话，我第一次接触量化的时候，心里是有点抵触的。你想啊，辛辛苦苦训练出来的模型，精度那么高，凭什么要把它“压缩”一下？这不是自废武功吗？

后来我在一个智能摄像头项目上栽了跟头。模型在PC上跑得飞起，一部署到ARM开发板上，帧率直接掉到个位数。客户当场脸就黑了。嗯，从那天起，我老老实实开始研究量化。

1.1 什么是模型量化？

说白了，量化就是把模型里的参数从高精度数值（比如FP32）转换成低精度数值（比如INT8）。

举个例子：

• FP32：一个数占32位，能表示的范围很大，精度很高
• INT8：一个数只占8位，范围小，精度低

你想想看，一个模型可能有几百万甚至上亿个参数。每个参数从32位变成8位，体积直接缩小到原来的四分之一。这还不算完，计算速度也能快好几倍。

1.2 为什么嵌入式设备需要量化？

嵌入式设备有什么特点？我总结三点：

• 算力有限：没有强大的GPU，CPU主频也低
• 内存紧张：可能只有几百MB甚至几十MB的RAM
• 功耗敏感：电池供电，不能太耗电

我在一个智能门锁项目里就深有体会。那款芯片只有64MB内存，跑一个MobileNetV2的FP32模型，光参数就占了40MB，再加上中间激活值，内存直接爆了。后来量化成INT8，模型体积降到10MB，终于能跑了。

所以，量化对于嵌入式设备来说，不是“要不要”的问题，而是“怎么做得更好”的问题。

1.3 量化的数学原理

好，咱们来点硬核的。量化的数学原理其实不复杂，核心就一个公式：

Q = round(R / S + Z)

其中：

• R：原始的浮点数值
• Q：量化后的整数值
• S：缩放因子（scale），一个浮点数
• Z：零点偏移（zero point），一个整数

反过来，反量化公式是：

R = (Q - Z) * S

就这么简单？对，就这么简单。但细节里藏着魔鬼。

1.3.1 对称量化

对称量化，就是让量化后的数值范围关于0对称。比如INT8的范围是[-128, 127]，0映射到0。

这种情况下，Z = 0。公式简化为：

Q = round(R / S)

对称量化的好处是实现简单，计算快。但有个问题：如果原始数据全是正数（比如ReLU的输出），那有一半的量化范围就浪费了。

1.3.2 非对称量化

非对称量化允许零点偏移Z不为0。这样就能充分利用整个量化范围。

比如原始数据范围是[2.0, 6.0]，用非对称量化可以映射到[0, 255]的整个范围，而对称量化只能用到[128, 255]这一半。

非对称量化的公式就是最前面那个：

Q = round(R / S + Z)

其中：

• S = (Rmax - Rmin) / (Qmax - Qmin)
• Z = round(Qmax - Rmax / S)

说白了，就是做一个线性映射，把浮点范围映射到整数范围。

1.3.3 两种方式的对比

对比项	对称量化	非对称量化
零点偏移Z	固定为0	可调整
实现复杂度	低	中
数据利用率	低（数据偏正时浪费一半）	高
适用场景	数据分布对称（如权重）	数据分布不对称（如激活值）
硬件支持	广泛	部分硬件不支持

1.4 知识体系总览

下面这张图是我自己画的，把量化的核心概念串起来了。你看一眼就能明白整个知识结构。

1.5 小结

量化不是什么神秘的技术。说白了，就是用精度换效率。在嵌入式设备上，这个交换往往是值得的。

我个人习惯把量化分成三步走：

1. 分析数据分布：看看权重和激活值的范围
2. 选择量化方式：对称还是非对称，看硬件和数据
3. 校准和测试：用一小批数据跑一遍，看看精度损失

嗯，今天就先聊到这里。量化这东西，光看理论是不够的。我建议你找个模型，用PyTorch或者TensorRT的量化工具实际跑一遍。踩几个坑，就什么都明白了。

---