一、量化基础与芯片选型：什么是模型量化？为什么需要量化？主流AI芯片量化方案对比
1.1 什么是模型量化？
模型量化，说白了就是把模型里的高精度数字，换成低精度数字。
举个例子。你训练好的模型，权重和激活值默认都是 FP32（32位浮点数）。每个数占 4 个字节。量化之后，变成 INT8（8位整数），每个数只占 1 个字节。体积直接缩到四分之一。
我刚开始接触量化时，总觉得这玩意儿会掉精度。后来发现，只要方法对，精度损失完全可以控制在 1% 以内。甚至有些场景下，量化后的模型反而更鲁棒——因为低精度相当于加了一点点正则化。
量化的核心公式其实很简单：
// 量化公式
q = round(r / scale) + zero_point
// 反量化公式
r = (q - zero_point) * scale其中 r 是原始浮点数，q 是量化后的整数。scale 是缩放因子，zero_point 是零点偏移。
关键点：量化不是简单的截断，而是通过 scale 和 zero_point 把浮点范围映射到整数范围。映射得好，精度损失就小。
1.2 为什么需要量化？
你想想看，一个 100MB 的模型，放在手机上跑，内存直接爆了。量化能解决三个核心问题：
- 模型体积变小：FP32 转 INT8，体积缩到 1/4。转 INT4 能缩到 1/8。
- 推理速度变快：整数运算比浮点运算快得多。我在 Jetson 上测过，INT8 比 FP32 快 2-3 倍。
- 功耗降低：整数运算单元更省电。这对移动端和边缘设备特别重要。
我记得有个项目，客户要求模型跑在 5W 功耗的嵌入式设备上。FP32 模型根本跑不动，量化到 INT8 之后，帧率从 2fps 直接飙到 15fps。客户当场就拍板了。
我的建议：如果你的模型要部署到边缘设备，量化几乎是必选项。除非你的设备有专门的 FP16 加速单元，否则 INT8 是性价比最高的选择。
1.3 主流 AI 芯片量化方案对比
不同芯片的量化方案差异很大。我踩过不少坑，这里把主流方案梳理一下。
| 芯片平台 | 量化精度 | 量化方式 | 工具链 | 我的评价 |
|---|---|---|---|---|
| NVIDIA Jetson | FP16 / INT8 | TensorRT 后训练量化 | TensorRT、PyTorch-Quantization | 生态最成熟，文档最全 |
| 高通 SNPE | INT8 / INT16 | SNPE 量化工具 | SNPE SDK、AIMET | 对骁龙芯片优化极好 |
| 华为昇腾 | INT8 | AMCT 量化工具 | CANN、MindSpore | 国产化首选，但工具链略复杂 |
| 地平线征程 | INT8 | 地平线量化工具 | OE SDK、X3 工具链 | 车规级芯片，稳定性好 |
NVIDIA Jetson 量化方案
Jetson 系列用的是 TensorRT 的量化工具。我个人习惯用 trtexec 做后训练量化，简单粗暴。
# TensorRT INT8 量化命令示例
trtexec --onnx=model.onnx \
--saveEngine=model_int8.engine \
--int8 \
--calib=calibration_data这里要注意，校准数据（calibration data）很关键。我曾经用 500 张图片做校准，结果精度掉了 3%。换成 1000 张后，精度只掉了 0.5%。
避坑指南：校准数据一定要覆盖真实场景的分布。如果你只拿白天场景的图片做校准，模型到了晚上就崩了。我吃过这个亏。
高通 SNPE 量化方案
高通的 SNPE 量化，主要靠它的量化工具链。它支持两种模式：
- 后训练量化：直接用训练好的模型，跑一遍校准数据，生成量化参数。
- 量化感知训练：在训练过程中模拟量化效果，精度更高。
高通还提供了 AIMET 库，专门做量化感知训练。如果你对精度要求高，建议用这个。
华为昇腾量化方案
昇腾的量化工具叫 AMCT（Ascend Model Compression Toolkit）。它支持两种量化方式：
- 静态量化：离线校准，生成量化模型。
- 动态量化：推理时动态计算量化参数。
嗯，这里要注意。昇腾的静态量化效果不错，但动态量化会引入额外计算开销。我建议优先用静态量化。
地平线征程量化方案
地平线的征程芯片，主要面向自动驾驶场景。它的量化工具链集成在 OE SDK 里。
地平线有个特点：它支持混合精度量化。也就是说，你可以让某些层用 INT8，某些层用 FP16。这对精度敏感的场景很有用。
我的经验：地平线的量化工具对卷积层优化得特别好。但全连接层和 attention 层，量化后精度波动较大。建议对这些层做特殊处理。
1.4 如何选择量化方案？
选量化方案，说白了就是看你的硬件平台和精度要求。
- 先看硬件：你的芯片支持什么精度？Jetson 支持 INT8 和 FP16，高通支持 INT8 和 INT16，昇腾和地平线主要支持 INT8。
- 再看精度：如果精度要求高，用量化感知训练。如果精度要求一般，后训练量化就够了。
- 最后看工具链：TensorRT 的生态最好，文档最全。高通的 AIMET 也不错。昇腾和地平线的工具链相对封闭，但国产化场景下是首选。
我曾经在一个项目里，客户要求用国产芯片。我们选了昇腾，量化后精度掉了 1.2%。后来改用量化感知训练，精度只掉了 0.3%。客户很满意。
总结：量化不是银弹，但它是边缘部署的必经之路。选对方案，精度损失可以控制在 1% 以内。选错方案，模型直接废掉。
下一章，我会详细讲量化感知训练的具体实现。到时候会带代码示例，手把手教你做量化。