第4章量化入门

第4章：量化入门——让模型瘦身又提速的秘密武器

大家好，我是你们的老朋友。今天我们来聊聊量化。

说实话，我第一次接触量化时，觉得这玩意儿挺玄乎的。明明模型跑得好好的，为什么要动它？直到我在一个智能门锁项目上栽了跟头——模型在PC上推理只要50ms，部署到树莓派上直接飙到800ms，用户开个门要等半天。嗯，那时候我才意识到：不量化，移动端根本玩不转。

什么是量化？

量化，说白了就是给模型参数"降精度"。

原本模型里存的都是32位浮点数（FP32），比如3.141592653589793这种。量化之后，可能变成8位整数（INT8），比如3。你想想看，一个数字从32bit变成8bit，存储直接缩水到四分之一。

我习惯这么跟新人解释：
FP32就像用游标卡尺量东西，精确到微米。
INT8就像用普通直尺量，精确到毫米。
大多数场景下，毫米级精度完全够用。

核心公式：

量化值 = round(浮点值 / 缩放因子) + 零点偏移

反量化：浮点值 = (量化值 - 零点偏移) × 缩放因子

举个例子。假设我的权重范围是[-1.0, 1.0]，要量化到[0, 255]的INT8范围：

缩放因子 = (1.0 - (-1.0)) / (255 - 0) ≈ 0.00784
零点偏移 = round(-(-1.0) / 0.00784) ≈ 128

原始值 0.5 → 量化值 round(0.5/0.00784 + 128) ≈ 192
量化值 192 → 反量化 (192 - 128) × 0.00784 ≈ 0.502

你看，0.5变成了0.502，误差才0.2%。这在大多数推理任务中完全可以接受。

为什么需要量化？

三个字：快、小、省。

模型体积缩小4倍：FP32的模型假设10MB，量化成INT8就变成2.5MB。我在一个车牌识别项目里，模型从12MB压到3MB，OTA升级时间从5分钟缩短到40秒。
推理速度提升2-4倍：整数运算比浮点运算快得多。特别是手机上的NPU、DSP这些硬件，只支持INT8计算。我曾经在骁龙865上测试，INT8推理速度是FP32的3.2倍。
功耗降低：少读内存、少做计算，电池自然更耐用。做可穿戴设备的朋友应该深有体会。

我的经验：量化不是银弹。如果你的模型对精度极其敏感（比如医疗影像诊断），量化后精度下降可能超过1%。我建议先做小批量测试，再决定是否全量量化。

TFLite支持的量化类型

TFLite给了我们三种量化方案，我按推荐程度排个序：

量化类型	权重精度	激活值精度	模型压缩比	推理加速	适用场景
动态范围量化	FP32→INT8	FP32（动态）	约4x	中等	快速上手、兼容性优先
FP16量化	FP32→FP16	FP16	约2x	较低	GPU加速、精度敏感
整数量化	FP32→INT8	INT8	约4x	最高	边缘设备、NPU部署

1. 动态范围量化

这是最简单的量化方式。权重在转换时直接量化成INT8，但激活值（每层计算后的中间结果）还是用FP32算。

为什么叫"动态范围"？因为激活值的量化范围是推理时动态计算的。每次推理，系统都会统计当前batch的激活值范围，然后临时量化。

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model('my_model')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

就这么三行代码，量化完成。我刚开始用的时候，觉得这也太简单了吧？后来发现，简单归简单，效果其实不错。在一个手势识别项目里，动态量化后模型从8MB降到2MB，精度只掉了0.3%。

注意：动态量化的推理速度提升有限，因为激活值计算还是FP32。如果你追求极致性能，建议用整数量化。

2. FP16量化

FP16就是把32位浮点数砍一半，变成16位。精度损失很小，但压缩比只有2倍。

我个人觉得FP16有点"鸡肋"。你说它快吧，不如INT8；你说它准吧，跟FP32差不多。但有一个场景它特别香——在支持FP16的GPU上推理。

我记得有一次在iPhone上部署模型，A14芯片的GPU原生支持FP16计算。用FP16量化后，推理速度比FP32快了1.8倍，精度几乎没变。嗯，这种场景下FP16就是最优解。

converter = tf.lite.TFLiteConverter.from_saved_model('my_model')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]
tflite_model = converter.convert()

3. 整数量化

这才是量化的"完全体"。权重和激活值全部量化成INT8，所有计算都用整数运算完成。

整数量化需要一个代表性数据集（calibration dataset）。为什么？因为激活值的范围不能动态算了，必须提前统计好。你给模型喂几百张图片，它统计出每层激活值的min/max，然后固定下来。

def representative_dataset():
    for _ in range(100):
        data = np.random.randn(1, 224, 224, 3).astype(np.float32)
        yield [data]

converter = tf.lite.TFLiteConverter.from_saved_model('my_model')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
tflite_model = converter.convert()

避坑指南：我曾经在一个语义分割模型上做整数量化，结果精度掉了5%。排查了两天，发现是代表性数据集跟实际场景差异太大——我用的是白天街景图做校准，但实际部署在夜间场景。校准数据一定要覆盖真实分布，否则量化误差会放大。

量化后的精度会掉多少？

这是大家最关心的问题。我直接给结论：

分类模型：Top-1准确率通常下降0.5%-1%。MobileNet、EfficientNet这类轻量模型下降更少。
检测模型：mAP下降1%-3%。SSD比YOLO更稳定。
分割模型：mIoU下降1%-2%。DeepLab系列表现不错。
NLP模型：BERT量化后F1分数下降0.5%-1.5%。

当然，这只是经验值。我建议每个模型都做量化前后对比测试。如果精度下降超过1%，可以考虑：

使用量化感知训练（QAT）——这个我们后面章节会详细讲
只量化部分层（敏感层保持FP32）
换用FP16量化

什么时候不该用量化？

嗯，这里要泼点冷水。量化不是万能的，以下情况我建议你慎重：

模型已经很小：比如模型本身只有几百KB，量化收益不大，反而可能引入精度损失。
对精度要求极高：比如金融风控、医疗诊断。0.1%的精度下降可能意味着几百万的损失。
模型中有特殊算子：某些自定义算子可能不支持INT8。我在一个项目里用了自定义的注意力机制，量化时直接报错，最后只能部分量化。

我的建议：量化应该作为部署流程的标配步骤。先跑一遍动态量化，看精度和速度是否达标。不达标再试FP16或整数量化。如果都不行，再考虑量化感知训练。别一上来就搞最复杂的方案。

好了，这一章就到这里。量化入门其实不难，关键是要理解它背后的原理——用精度换效率。下一章我们会深入量化感知训练，看看怎么在训练阶段就让模型"习惯"低精度计算。到时候我会分享一个我在工业质检项目中的实战案例，保证干货满满。

记住：量化的本质，是在精度和效率之间找到最佳平衡点。别追求极致量化，够用就好。

📚 课程目录