一、量化技术概述
什么是模型量化？
模型量化，说白了就是把模型里的高精度数字（比如FP32），用低精度数字（比如INT8）来表示。你想想看，一个FP32的浮点数占4个字节，换成INT8只需要1个字节，内存占用直接砍掉75%。
我刚开始接触量化时，总觉得这事儿有点玄乎——把32位精度压缩到8位，模型还能正常工作吗？后来在实际项目中跑了一遍才发现，大部分场景下精度损失微乎其微，但推理速度的提升却是实打实的。
举个例子，一个7B参数的LLaMA模型，FP32版本大概需要28GB显存，换成INT8后只需要7GB。这意味着什么？原本只能在A100上跑的模型，现在一张RTX 4090就能搞定。
为什么需要量化？
原因其实很直接：大模型太「重」了。
- 内存瓶颈：模型参数和中间激活值占用的显存，往往比计算本身更吃资源
- 带宽限制：GPU的显存带宽有限，数据搬运速度跟不上计算速度
- 功耗问题：高精度计算意味着更高的功耗，数据中心电费可不是小数目
- 部署成本：消费级显卡显存有限，量化是让大模型「飞入寻常百姓家」的关键
我在一次边缘设备部署项目中就吃过亏——模型在服务器上跑得好好的，一放到Jetson上直接OOM。后来做了INT8量化，不仅跑起来了，延迟还从2秒降到了300毫秒。嗯，这就是量化的魅力。
量化的数学原理
量化的核心就四个字：映射与反量化。
假设我们有一个FP32的浮点数范围 [α, β]，要映射到INT8的整数范围 [-128, 127]。这里需要两个关键参数：
- 缩放因子 (scale)：决定每个整数步长代表多少浮点数
- 零点 (zero point)：浮点数0对应哪个整数
公式其实很简单：
量化：q = round(r / scale) + zero_point
反量化：r = (q - zero_point) × scale其中 r 是原始浮点数，q 是量化后的整数。scale 的计算方式：
scale = (β - α) / (127 - (-128))举个例子，假设某个权重范围是 [-1.0, 2.0]，那么：
scale = (2.0 - (-1.0)) / 255 ≈ 0.01176
zero_point = round(-(-1.0) / 0.01176) + (-128) ≈ -43这样，浮点数0.5量化后就是：
q = round(0.5 / 0.01176) + (-43) = round(42.5) + (-43) = 0反量化回来：
r = (0 - (-43)) × 0.01176 ≈ 0.505你看，误差只有0.005，完全可以接受。
关键点：量化的本质就是用「离散的整数」去近似「连续的浮点数」。精度损失不可避免，但好的量化策略能把损失控制在可接受范围内。
量化带来的收益
收益是实实在在的，我列个表你感受一下：
| 指标 | FP32 | INT8 | 提升幅度 |
|---|---|---|---|
| 模型体积 | 4GB | 1GB | ↓ 75% |
| 推理速度 | 100 tokens/s | 250 tokens/s | ↑ 150% |
| 显存占用 | 8GB | 2.5GB | ↓ 69% |
| 功耗 | 300W | 180W | ↓ 40% |
注意，这些数据来自我实际测试的一个7B模型。不同模型、不同量化方案会有差异，但趋势是一致的。
量化面临的挑战
当然，量化不是万能的。我踩过的坑也不少：
我曾经遇到过的问题：
- 精度损失：某些敏感层（比如注意力层的softmax）对量化特别敏感，稍微一压就崩
- 异常值：权重里偶尔出现几个特别大的值，会拉宽整个量化范围，导致普通值的精度严重下降
- 跨层传播：量化误差会逐层累积，最后一层的输出可能已经面目全非
- 硬件兼容性：不是所有芯片都支持INT8计算，有些老旧的GPU只能跑FP16
我的建议：
做量化前，先用校准数据集跑一遍模型，看看每层激活值的分布。如果发现某些层分布特别不均匀，可以考虑对这些层单独做高精度保留（混合精度量化）。
知识体系总览
下面这张图，是我梳理的量化技术核心脉络：
这张图把量化技术的核心脉络理清楚了。从「为什么需要量化」到「数学原理」，再到「收益」和「挑战」，每个环节都环环相扣。我个人习惯在开始一个新项目前，先画这样一张图，把技术路线理清楚再动手。
好了，第一章的内容就到这里。量化技术是个大话题，后面我们会一步步深入，从量化方案的选择到实际部署的坑，我都会结合自己的经验跟你聊透。