第4章模型量化技术

第4章：模型量化技术：FP16、INT8、INT4量化原理

聊到模型量化，我得先坦白一件事。几年前我第一次接触量化时，觉得这玩意儿就是把精度砍掉换速度，挺粗暴的。后来踩了不少坑才发现——量化其实是一门平衡的艺术。你既要让模型跑得快，又不能让它变傻。

今天咱们就掰开揉碎，把FP16、INT8、INT4这三种主流量化方式讲清楚。我会结合自己实际部署中的血泪史，帮你少走弯路。

4.1 为什么需要量化？

先问个问题：大模型为什么跑得慢？

说白了，模型推理时大部分时间都花在矩阵乘法上。而矩阵乘法里，数据在内存和计算单元之间搬来搬去，这个搬运过程比计算本身还耗时。你想想看，如果能把每个数字从32位压缩到16位甚至8位，那搬运的数据量直接减半甚至减到四分之一，速度自然就上来了。

量化就是干这个的——用更少的比特数来表示模型的权重和激活值。

核心收益：

模型体积缩小（存储省了）
内存带宽需求降低（搬运快了）
部分硬件上计算速度提升（INT8比FP32快2-4倍）

4.2 FP16量化：最温柔的降级

FP16，也就是半精度浮点数。它用16位来表示一个数，相比FP32的32位，直接砍了一半。

FP16的位分配：

1位符号位
5位指数位
10位尾数位

对比一下FP32：1位符号、8位指数、23位尾数。你会发现，FP16的指数范围窄了，尾数精度也低了。

我在项目中遇到过这种情况：用FP16跑BERT模型，精度损失几乎可以忽略不计，但推理速度提升了40%左右。为什么？因为很多现代GPU（比如V100、A100）都有专门的FP16计算单元，跑起来比FP32快得多。

我的经验：FP16是目前最安全的量化方式。如果你刚接触量化，从FP16开始准没错。它几乎不会让模型变笨，但能带来实实在在的速度提升。

FP16的适用场景：

GPU推理（NVIDIA Tensor Core支持）
对精度要求极高的任务（如医疗影像、金融风控）
作为INT8/INT4量化的中间步骤

4.3 INT8量化：精度与速度的黄金平衡

INT8用8位整数来表示数值。相比FP16又砍了一半，但这次是从浮点数变成了整数。

这里有个关键问题：浮点数怎么变成整数？

答案是：缩放映射。

假设你的权重范围是[-1.0, 1.0]，INT8的范围是[-128, 127]。那我们就找一个缩放因子S，把[-1.0, 1.0]映射到[-128, 127]上。

# 简单的对称量化示例
import numpy as np

def quantize_int8(tensor):
    # 找到绝对值的最大值
    max_val = np.max(np.abs(tensor))
    # 计算缩放因子
    scale = 127.0 / max_val
    # 量化
    quantized = np.round(tensor * scale).astype(np.int8)
    return quantized, scale

# 反量化
def dequantize_int8(quantized, scale):
    return quantized.astype(np.float32) / scale

嗯，这里要注意：量化不是简单的四舍五入。你想想看，如果权重分布很不均匀，比如大部分值集中在0附近，只有少数几个大值，那直接用对称量化就会浪费很多表示范围。

我曾经在一个NLP模型上踩过这个坑。模型里有些层的权重范围是[-0.1, 0.1]，但有几个异常值到了[-2.0, 2.0]。直接用对称量化，结果精度掉了5%以上。后来改用非对称量化（用最小值和最大值来定范围），精度损失降到了1%以内。

避坑指南：INT8量化最怕的就是"离群点"。我曾经因为没做离群点处理，导致一个翻译模型输出全是乱码。建议在量化前先做校准（calibration），用一小批数据跑一遍，统计出真实的数值范围。

INT8的典型性能：

指标	FP32	INT8	提升
模型体积	1GB	250MB	4x
推理速度	100ms	30-50ms	2-3x
精度损失	基准	<1%	可接受

4.4 INT4量化：极限压缩的代价

INT4，每个数只占4位。这意味着一个32位的数可以塞进8个INT4数里。压缩比惊人，但代价也大。

INT4只有16个可能的取值（0-15或-8到7）。你想想看，要把一个连续的浮点数空间压缩到16个离散值上，信息损失有多大。

我个人的习惯是：除非万不得已，别用INT4。什么时候算万不得已？比如要在手机端跑一个7B模型，或者边缘设备上内存只有几百MB。

INT4的常用技术：

GPTQ：基于二阶优化的后训练量化，效果好但计算量大
AWQ：感知权重量化，通过分析权重的重要性来分配精度
GGML/GGUF：社区常用的量化格式，支持多种位宽混合

真实案例：我去年在一个对话机器人项目里试过INT4量化。模型从7GB压缩到了2GB，推理速度提升了3倍。但代价是：模型开始出现"胡言乱语"的情况，特别是长对话时。后来我们做了混合精度——关键层用INT8，非关键层用INT4，才把问题解决。

4.5 量化对推理速度的影响

量化为什么能提速？三个原因：

内存带宽降低：数据量小了，从内存搬到计算单元的时间就短了
计算效率提升：INT8的乘法器比FP32的简单得多，单位面积能塞更多
缓存命中率提高：同样大小的缓存，能装下更多参数

但这里有个反直觉的事：量化不一定总是更快。

我记得有一次在CPU上跑INT8量化模型，结果比FP32还慢。排查了半天才发现，CPU不支持INT8的向量化指令，每次计算都要先转成FP32再算，反而多了转换开销。所以，量化前一定要确认硬件支持。

4.6 量化对精度的影响

精度损失是量化的原罪。但不同模型、不同任务对量化的敏感度差别很大。

我的经验总结：

CV模型：对量化最不敏感，INT8基本无损，INT4也能接受
NLP模型：中等敏感，INT8损失可控，INT4需要谨慎
语音模型：比较敏感，特别是生成任务，INT8都可能出问题
多模态模型：最敏感，不同模态的量化策略要分开做

实用建议：量化后一定要做精度验证。我一般会准备一个验证集，跑一遍量化前后的模型，对比关键指标（如BLEU、F1、准确率）。如果损失超过1%，就要考虑调整量化策略了。

4.7 量化工具链推荐

最后，分享几个我常用的工具：

TensorRT：NVIDIA家的，支持FP16和INT8，GPU上首选
ONNX Runtime：跨平台，支持多种量化方式
llama.cpp：社区神器，对LLM的量化支持特别好
AutoGPTQ：专门做GPTQ量化的库，效果不错

我个人习惯是：先用FP16试试水，如果速度不够再上INT8。INT4嘛，除非你真的很缺内存，否则我建议你三思而后行。

好了，这一章就到这里。量化是个实践性很强的话题，光看理论没用，建议你找个模型亲手试试。下一章咱们聊聊更高级的量化技术——混合精度量化和动态量化，到时候见。

📚 课程目录