3、模型量化入门（INT8）：为什么量化能省电？从FP16到INT8的转换原理，以及实际部署中的精度损失评估
3.1 量化到底在干什么？
先问大家一个问题：你跑大模型的时候，最心疼的是什么？
对我来说，是电费。不是开玩笑。我去年帮一家公司优化线上服务，一台A100跑7B模型，一天电费就小几百。老板看着账单直皱眉。后来做了INT8量化，功耗直接砍了一半多。
量化说白了，就是给模型的权重和激活值「减肥」。原来用FP16存一个数，占16位。换成INT8，只占8位。数据量减半，计算量也减半。你想想看，搬运的数据少了，算的步骤少了，芯片自然就省电了。
我在项目中遇到过最夸张的情况——一个70B的模型，FP16推理时显存占用140GB，单卡根本跑不动。量化到INT8后，显存降到70GB，两张卡就能搞定。功耗从1200W降到了650W。客户当场就拍板了。
3.2 从FP16到INT8：转换原理
好，那具体怎么转？
FP16和INT8的数值范围差很多。FP16能表示大约±65504，INT8只能表示-128到127。直接把FP16的值截断到INT8范围，精度会崩得一塌糊涂。
所以我们需要一个「映射」过程。核心公式很简单：
INT8_value = round(FP16_value / scale) + zero_point这里面有两个关键参数：
- scale（缩放因子）：决定FP16里的一个单位，对应INT8里的多少
- zero_point（零点偏移）：让FP16的0能精确映射到INT8的某个值
举个例子。假设我们有一组权重，范围在[-2.0, 3.0]之间。INT8的范围是[-128, 127]。那么：
scale = (3.0 - (-2.0)) / (127 - (-128)) = 5.0 / 255 ≈ 0.0196
zero_point = round(-128 - (-2.0 / 0.0196)) ≈ -26这样，FP16的0.5就变成了：
round(0.5 / 0.0196) + (-26) = round(25.5) - 26 = 26 - 26 = 0嗯，这里要注意：zero_point必须是整数，因为INT8只能存整数。
核心要点：量化的本质是「有损压缩」。我们牺牲了数值精度，换来了更小的存储和更快的计算。关键在于这个「损失」能不能被模型本身消化掉。
3.3 为什么量化能省电？
这个问题，我从两个角度给你拆解。
第一，数据搬运少了。
芯片内部，数据从显存搬到计算单元，这个过程的能耗远高于计算本身。INT8的数据量是FP16的一半，搬运能耗也差不多减半。我做过实测：一个Transformer层，FP16推理时数据搬运能耗占65%，INT8量化后降到40%。
第二，计算单元效率高了。
现代GPU和NPU都有专门的INT8计算单元。比如NVIDIA的Tensor Core，FP16算一次的时间，INT8能算两次。同样的功耗下，吞吐量翻倍。说白了就是「同样的电，干更多的活」。
我曾经优化过一个对话机器人。FP16时每秒钟处理30个请求，功耗350W。量化到INT8后，每秒处理55个请求，功耗只有200W。单次请求的能耗降低了将近70%。
| 指标 | FP16 | INT8 | 提升 |
|---|---|---|---|
| 显存占用 | 16GB | 8GB | 减少50% |
| 单次推理能耗 | 11.7J | 3.6J | 降低69% |
| 吞吐量 | 30 req/s | 55 req/s | 提升83% |
3.4 精度损失评估：到底亏了多少？
量化不是免费的午餐。精度损失是绕不开的话题。
我一般用三个指标来评估：
- Perplexity（困惑度）：语言模型最常用的指标。变化超过0.5就要警惕。
- 下游任务准确率：比如分类、问答、翻译。下降超过1%就需要调优。
- 输出质量人工评测：这个最费时间，但也最靠谱。我见过量化后perplexity只涨了0.2，但生成的内容明显变差了。
避坑指南：我曾经在一个翻译模型上直接做INT8量化，结果BLEU分数掉了3个点。后来发现是某个注意力层的权重分布特别不均匀，最大值和最小值差了100倍。对这种层，我建议保留FP16，或者用混合精度量化。
实际部署中，我推荐的做法是：
- 先做逐层精度分析，找出对量化敏感的层
- 对这些层使用更高精度（比如FP16或INT16）
- 其他层放心大胆用INT8
这样既能省电，又能把精度损失控制在0.5%以内。
3.5 量化后的功耗实测数据
最后，我分享一组真实数据。这是我在一个7B模型上做的对比测试：
| 配置 | 精度 | 功耗(W) | 吞吐量(tokens/s) | Perplexity |
|---|---|---|---|---|
| FP16基线 | FP16 | 320 | 1200 | 8.32 |
| INT8量化 | INT8 | 175 | 2100 | 8.41 |
| 混合精度 | INT8+FP16 | 195 | 1900 | 8.34 |
看到没？INT8量化后功耗降了45%，吞吐量涨了75%。perplexity只涨了0.09。这个代价，我觉得完全可以接受。
我的建议：如果你刚开始做量化，先从混合精度入手。把注意力层和输出层保留FP16，其他层用INT8。这样风险最小，收益也够用。等摸清了模型的脾气，再逐步扩大INT8的范围。
量化这件事，说白了就是「用可接受的精度损失，换实实在在的功耗收益」。你想想看，数据中心里几百张卡，每张省100多瓦，一年下来能省多少电费？
量化入门，其实没那么玄乎。记住三个关键词：映射、省电、评估。搞懂了这三件事，你就能在实际部署中做出合理的取舍。