1. 量化基础：什么是模型量化？为什么YOLO需要量化？量化的数学原理

1.1 什么是模型量化？

模型量化，说白了就是给模型「减肥」。

我习惯这么跟团队新人解释：你原来用32位浮点数（FP32）存一个权重，现在改用8位整数（INT8）来存。精度降了，但模型体积直接缩水到四分之一。

举个例子。一个YOLOv8模型，原始FP32版本大概120MB。量化成INT8后，直接变成30MB。你想想看，这对边缘设备意味着什么？

嗯，这里要注意：量化不是简单的「四舍五入」。它背后有一套数学逻辑在支撑。

1.2 为什么YOLO需要量化？

我在项目中遇到过不少这样的场景：模型在服务器上跑得飞快，一部署到嵌入式设备就卡成PPT。YOLO系列虽然以速度快著称，但到了资源受限的环境里，照样扛不住。

具体来说，有三大痛点：

• 存储瓶颈：一个YOLOv8x模型接近300MB，嵌入式设备的Flash通常只有几十到几百MB。你总不能让模型把存储空间全占了吧？
• 内存带宽：推理时模型参数要从内存搬到计算单元。FP32模型一次搬运的数据量是INT8的4倍。带宽不够，帧率就上不去。
• 计算效率：很多边缘芯片（比如瑞芯微RK3588、英伟达Jetson系列）对INT8计算有硬件加速。FP32反而跑得慢。

我曾经在一个智慧安防项目里，把YOLOv5s量化后部署到海思芯片上。推理速度从15fps直接飙到45fps。嗯，这就是量化的价值。

1.3 量化的数学原理

量化不是玄学，它背后有清晰的数学公式。我尽量用大白话讲清楚。

1.3.1 映射公式

核心就两个参数：缩放因子（Scale）和零点（Zero Point）。

公式长这样：

量化值 = round(原始值 / Scale) + Zero Point

反过来，反量化公式：

原始值 ≈ (量化值 - Zero Point) × Scale

Scale决定了精度损失的程度。Scale越小，量化后的精度损失越小，但能表示的数值范围也越小。

1.3.2 对称量化 vs 非对称量化

我习惯把这两种方式比作「对称尺子」和「不对称尺子」。

类型	特点	适用场景
对称量化	Zero Point = 0，映射范围对称	权重（权重分布通常对称）
非对称量化	Zero Point ≠ 0，可偏移	激活值（ReLU后全为正数）

举个例子。ReLU激活函数输出全是非负数。如果用对称量化，有一半的量化范围就浪费了。非对称量化可以把零点偏移到0附近，充分利用INT8的256个刻度。

1.3.3 量化粒度

量化不是对整个模型一刀切。你可以选择不同的粒度：

• 逐层量化：每层一个Scale和Zero Point。简单粗暴，但精度损失大。
• 逐通道量化：每个卷积核一个Scale。精度更好，但计算稍复杂。
• 逐张量量化：整个张量共享参数。最粗糙，一般不用。

我个人习惯用逐通道量化。在YOLO的卷积层里，不同通道的数值分布差异很大。逐通道量化能更好地保留每个通道的信息。

1.3.4 量化误差的来源

量化不是无损的。误差主要来自两个地方：

1. 截断误差：超出INT8表示范围的数值被强行截断。比如最大值127，你有个128，那就只能变成127。
2. 舍入误差：round操作带来的精度损失。比如3.6变成4，0.3变成0。

你想想看，这两个误差叠加起来，模型精度不掉才怪。但好消息是，YOLO这类检测模型对量化误差的容忍度比较高。只要校准得当，精度损失可以控制在1%以内。

1.4 量化后的收益

最后，我列个实际数据，让你直观感受一下量化的威力：

指标	FP32	INT8	提升幅度
模型大小	120 MB	30 MB	↓ 75%
推理速度	30 fps	85 fps	↑ 183%
内存占用	512 MB	128 MB	↓ 75%
mAP@0.5	0.723	0.718	↓ 0.7%

看到没？模型小了四分之三，速度快了近两倍，精度只掉了不到1%。这笔账，怎么算都划算。

嗯，量化基础就讲到这里。下一章，我会带你手把手做YOLO的量化校准。到时候咱们再细聊。