一、量化入门：从浮点到整数的思维转变

大家好，我是你们的老朋友。今天咱们聊聊模型量化——这个在工业界几乎绕不开的话题。

我记得刚入行那会儿，总觉得量化是「锦上添花」的东西。直到有一次，我负责的推荐模型在手机上跑，延迟死活压不到50ms以下。老板催得紧，我急得团团转。后来一位前辈说：「你试试量化。」结果呢？模型小了4倍，速度翻了3倍，精度只掉了0.1%。

从那以后，我彻底服了。量化不是花架子，它是真能救命的。

1.1 什么是模型量化？

说白了，量化就是把模型里的参数从「高精度」换成「低精度」。

举个例子。你训练好的模型，权重通常是FP32（32位浮点数）。每个数占4个字节。一个100M参数的模型，光权重就400MB。这谁受得了？

量化之后呢？变成INT8（8位整数）。每个数只占1个字节。模型直接缩到原来的1/4。你想想看，400MB变100MB，这差距有多大。

我在项目中遇到过最极端的例子——把模型从FP32量化到INT4，模型体积压缩了8倍，在边缘设备上跑得飞起。当然，精度也掉了点，但业务能接受。

1.2 为什么需要量化？

这个问题我问过很多新人。答案五花八门，但核心就三点：

• 模型变小：存储成本降低，传输更快。你想想，一个App里塞个几百MB的模型，用户下载时得多崩溃。
• 推理加速：整数运算比浮点运算快得多。尤其在手机、IoT设备上，CPU对INT8的支持非常友好。
• 功耗降低：算同样的数，整数运算的能耗只有浮点的几分之一。这对电池供电的设备来说，太重要了。

嗯，这里要注意。量化不是万能的。有些场景下，精度损失是不可接受的。比如医疗影像、自动驾驶——这些地方，我建议你还是老老实实用FP16甚至FP32。

1.3 量化的基本原理

量化听起来高大上，其实原理很简单。就是找一个映射关系，把浮点数范围「压缩」到整数范围。

咱们来看两种最常见的量化方式。

对称量化

对称量化，顾名思义，零点对齐。浮点数的0，映射到整数的0。正负范围对称。

公式长这样：

Q = round(S * R)

其中：
R 是原始浮点数
Q 是量化后的整数
S 是缩放因子（scale）

举个例子。假设浮点数范围是[-1.0, 1.0]，要量化到INT8范围[-128, 127]。那么S = 127 / 1.0 = 127。

浮点数0.5，量化后就是 round(127 * 0.5) = 64。

简单吧？

非对称量化

非对称量化更灵活。它允许零点偏移，不要求浮点0映射到整数0。

公式变成：

Q = round(S * R + Z)

其中：
Z 是零点偏移（zero point）

这样做的好处是，能更好地适配数据的实际分布。比如你的权重全是[0.2, 0.8]之间，那非对称量化可以把整个量化范围都用来表示这个区间，精度自然更高。

我个人的习惯是：

• 权重分布对称（比如经过BN层后的激活值）→ 用对称量化
• 权重分布偏斜（比如某些层的输出全是正数）→ 用非对称量化

没有绝对的好坏，得看你的模型实际情况。

1.4 量化精度与性能的权衡

这是量化里最核心的问题。说白了就是：你想省多少，愿意牺牲多少精度？

我整理了一张表，方便你对比：

量化类型	模型体积	推理速度	精度损失	适用场景
FP32（原始）	1x	1x	0%	训练、高精度推理
FP16	0.5x	1.5-2x	几乎无损失	GPU推理、大模型
INT8	0.25x	2-4x	0.5-2%	移动端、边缘设备
INT4	0.125x	3-6x	1-5%	极端资源受限场景

你看，INT8是性价比最高的选择。体积小、速度快、精度损失可控。我做过的大部分项目，最终都选了INT8。

但要注意，精度损失不是线性的。有些模型对量化特别敏感，比如Transformer里的Attention层。我曾经优化过一个BERT模型，量化后精度掉了3%，后来发现是某个层的权重分布太散，做了逐层量化才搞定。

最后说一句。量化不是银弹。它是个工具，用好了事半功倍，用不好反而添乱。我的建议是：先跑通流程，再优化细节。别一上来就追求极致压缩，先把INT8跑稳了再说。

好了，第一章就聊到这儿。量化入门其实不难，关键是理解「为什么」和「怎么选」。下一章咱们聊聊量化工具链的具体使用，到时候我会手把手带你跑一遍。