1、量化基础回顾：什么是模型量化？为什么需要量化？量化的数学原理与常见数据类型（FP32、FP16、INT8）
好，咱们直接进入正题。模型量化这个话题，我这些年跟它打交道可不少。记得刚入行那会儿，我总觉得量化就是把模型变小点，精度掉一点也无所谓。后来踩过几次坑才发现——量化不是简单的精度换速度，而是一门平衡的艺术。
1.1 什么是模型量化？
说白了，模型量化就是把模型里的高精度数值（比如FP32），用低精度数值（比如INT8）来表示。你想想看，一个32位的浮点数，占4个字节；换成8位的整数，只占1个字节。模型体积直接缩到四分之一。
但这里有个关键问题：数值范围变了。FP32能表示大约10的38次方这么大的数，INT8只能表示-128到127。怎么把大象塞进冰箱？这就是量化的核心挑战。
量化定义：将连续浮点数映射到离散整数点的过程。数学上可以理解为：
Q = round(r / S) + Z
其中 r 是原始浮点数，Q 是量化后的整数，S 是缩放因子，Z 是零点偏移。
1.2 为什么需要量化？
我直接说几个真实场景吧：
- 部署到移动端：手机芯片算力有限，FP32模型跑不动。量化后模型小了，推理快了，用户才愿意用。
- 边缘设备：像智能摄像头、IoT设备，内存就几百KB，不量化根本塞不进去。
- 降低带宽：云端推理时，模型参数从显存搬到计算单元，数据量越小，搬运越快。
我在项目中遇到过最典型的例子：一个目标检测模型，FP32版本在GPU上跑30ms一帧，量化到INT8后直接降到8ms。客户当场就拍板了。
个人经验：量化带来的加速效果，在带宽受限的场景下尤其明显。比如你的模型有100层，每层都要从显存取数据，数据量减半，时间就省一半。但要注意——不是所有层都适合量化，这个后面会细讲。
1.3 量化的数学原理
嗯，这里要稍微深入一点。量化的核心就两个参数：缩放因子（Scale）和零点（Zero Point）。
公式很简单：
量化：Q = round(r / S) + Z
反量化：r = (Q - Z) * S其中：
- S = (r_max - r_min) / (Q_max - Q_min)
- Z = round(Q_max - r_max / S)
举个例子你就明白了。假设原始浮点数范围是[-1.0, 1.0]，要量化到INT8（范围-128到127）：
S = (1.0 - (-1.0)) / (127 - (-128)) = 2.0 / 255 ≈ 0.00784
Z = round(127 - 1.0 / 0.00784) = round(127 - 127.5) = 0
那么浮点数 0.5 量化后：
Q = round(0.5 / 0.00784 + 0) = round(63.78) = 64反量化回来：r = (64 - 0) * 0.00784 = 0.50176，误差只有0.00176。你看，精度损失其实很小。
注意：这里有个坑——饱和问题。如果原始数据中有极端值（比如某个权重是100），那量化范围会被拉得很大，导致大部分数值的精度严重下降。我曾经在一个语音模型里遇到过，有个异常值把整个量化范围撑到了[-100, 100]，结果量化后模型直接变成噪音输出。后来我用了截断量化，把极端值砍掉，才恢复正常。
1.4 常见数据类型
咱们平时打交道最多的就这三种：
| 数据类型 | 位宽 | 表示范围 | 精度 | 典型场景 |
|---|---|---|---|---|
| FP32 | 32位 | ±3.4×10^38 | 高（7位有效数字） | 训练、高精度推理 |
| FP16 | 16位 | ±65504 | 中（3位有效数字） | 混合精度训练、推理 |
| INT8 | 8位 | -128~127 | 低（整数精度） | 推理加速、边缘部署 |
FP32：老大哥，精度最高，但体积大、速度慢。训练时基本都用它。
FP16：我特别喜欢用这个做混合精度训练。模型精度几乎不掉，但训练速度能快一倍。不过要注意——FP16的表示范围只有65504，梯度爆炸时很容易溢出。我习惯在损失函数后面加个梯度裁剪，稳得很。
INT8：推理时的王牌。体积小、速度快，但精度损失需要仔细处理。后面几章我会专门讲怎么修复INT8的精度损失。
避坑指南：我曾经在部署一个BERT模型时，直接用了对称量化（Z=0），结果精度掉了5个点。后来改成非对称量化（Z不为0），精度只掉了0.3个点。为什么？因为BERT的权重分布不是对称的，零点偏移能更好地匹配数据分布。所以——别偷懒，先看看你的数据分布再选量化方案。
1.5 小结
这一章咱们把量化的基础捋了一遍。记住三个核心点：
- 量化是映射：从浮点数到整数的映射，核心是Scale和Zero Point。
- 量化有代价：精度损失不可避免，但可以通过技术手段修复。
- 选型看场景：FP32训练、FP16混合精度、INT8推理，各有所长。
下一章我会讲量化误差的来源分析——为什么有些模型量化后精度掉得厉害，有些却几乎无损？这里面有门道。咱们到时候细聊。