一、模型量化与显存压缩：FP16/INT8/INT4/FP8 量化原理
大家好，我是你们的老朋友。今天咱们聊聊量化——这个在LLM部署里绕不开的话题。
说实话，我刚接触大模型那会儿，第一反应是：这玩意儿也太吃显存了吧？一个70B的模型，光参数就140GB，A100 80G都装不下。后来我才明白，量化就是解决这个问题的关键手段。
1.1 量化到底在做什么？
量化说白了，就是用更少的比特数来表示模型参数。你想想看，原本一个float32是32位，换成float16就是16位，直接省一半空间。换成INT8呢？再省一半。
但问题来了——精度会掉。我有个项目里，模型从FP16压到INT8，推理速度确实快了，但生成质量肉眼可见地下降。嗯，这里要注意，不是所有模型都适合暴力量化。
核心公式：量化就是把连续浮点数映射到离散整数空间。
举个简单例子：FP16 → INT8，相当于把[-max, max]这个范围，均匀分成256份。
1.2 主流量化格式对比
| 格式 | 位宽 | 显存节省 | 典型场景 |
|---|---|---|---|
| FP16 | 16位 | 比FP32省50% | 大多数LLM默认格式 |
| INT8 | 8位 | 比FP32省75% | 推理加速，精度损失可控 |
| INT4 | 4位 | 比FP32省87.5% | 极致显存压缩，精度损失较大 |
| FP8 | 8位 | 比FP32省75% | H100等新硬件原生支持 |
我个人习惯，在项目初期先用FP16跑通流程。如果显存不够，再考虑INT8。至于INT4，我建议只在边缘设备或对精度要求不高的场景使用。
1.3 SmoothQuant：让量化更平滑
SmoothQuant这个名字起得好——它确实让量化过程平滑了很多。它的核心思路是：把激活值的波动转移到权重上。
为什么会这样？因为LLM里激活值经常出现outlier（异常大值），直接量化会损失大量信息。SmoothQuant通过一个平滑因子，把激活值的范围压缩，同时把权重放大，这样两边都变得容易量化。
我的经验：在Llama-2 7B上试过SmoothQuant，INT8量化后精度只掉了不到1%。但要注意，平滑因子的选择很关键，我踩过坑——选太大，权重溢出；选太小，激活值还是炸。
1.4 AWQ：激活感知的权重量化
AWQ（Activation-aware Weight Quantization）是另一种思路。它不搞平滑，而是直接分析哪些权重对输出更重要。
你想想看，模型里有些权重是"关键先生"，有些是"打酱油的"。AWQ通过观察激活值的分布，给重要权重分配更多比特，不重要的就少给点。这叫"好钢用在刀刃上"。
# AWQ的伪代码思路
for each layer:
# 1. 收集激活值统计
act_scale = compute_activation_scale(input)
# 2. 计算权重重要性
importance = abs(weight) * act_scale
# 3. 按重要性分配量化精度
quantized_weight = quantize(weight, importance)
避坑指南：我曾经在部署一个130B模型时，直接用了默认的AWQ配置，结果推理时频繁出现NaN。后来发现是某些层的激活值分布太极端，需要手动调整量化范围。记住：没有银弹，每个模型都要调参。
1.5 量化对显存占用的影响
咱们来算笔账。一个70B的模型：
- FP16：70B × 2字节 = 140GB
- INT8：70B × 1字节 = 70GB
- INT4：70B × 0.5字节 = 35GB
看到没？INT4直接让一个A100 80G就能跑70B模型。但代价呢？
我记得有个项目，客户要求把模型部署到T4（16GB）上。我们试了INT4量化，模型确实塞进去了，但推理速度慢得像蜗牛。为什么？因为INT4需要额外的反量化操作，计算开销反而上去了。
1.6 量化精度与性能的权衡
这里我画了一张图，帮你理清思路：
从图上你能看到：FP16精度最高但速度一般，INT4速度最快但精度掉得厉害。INT8和FP8是甜点区——我大部分项目都落在这个区间。
我的建议：如果你追求极致性能，可以试试混合精度——敏感层用FP16，不敏感层用INT8。我在一个对话机器人项目里这么干过，效果出奇地好。
1.7 TensorRT-LLM中的量化实践
在TensorRT-LLM里，量化其实被封装得很好了。你只需要在构建引擎时指定精度：
# TensorRT-LLM 量化配置示例
from tensorrt_llm import build
# 构建INT8引擎
engine = build(
model_dir="llama-7b",
dtype="float16", # 权重精度
quant_mode="int8", # 量化模式
use_smooth_quant=True # 启用SmoothQuant
)
# 或者用AWQ
engine = build(
model_dir="llama-7b",
dtype="float16",
quant_mode="int4_awq" # AWQ量化
)
嗯，这里要注意：TensorRT-LLM的量化是在构建阶段完成的，不是运行时。所以构建时间会比较长，但推理时几乎没有额外开销。
避坑指南：我曾经在构建INT4引擎时，忘了设置--max_batch_size参数，结果推理时batch size一大就OOM。记住：量化后的模型虽然参数小了，但中间激活值的大小没变，显存还是要算清楚。
1.8 小结
量化这件事，说白了就是拿精度换显存。但好的量化方法（比如SmoothQuant、AWQ）能让你用最小的精度损失，换来最大的显存节省。
我个人建议：先从FP16开始，如果显存不够，试试INT8。如果还不够，再考虑INT4。每一步都要做精度验证，别盲目追求极致压缩。
好了，这一章就到这里。量化是个大话题，后面我们还会深入讲具体实现。记住：没有最好的量化方案，只有最适合你场景的方案。