模型量化精度损失修复指南
🎯 30章 · 从入门到实战
📚 友好色系 · 轻松学习
⭐ 点击卡片跳转对应章节
01
量化基础回顾
什么是模型量化？为什么需要量化？数学原理与FP32/FP16/INT8
02
精度损失的本质
量化误差来源：舍入误差、截断误差、动态范围不匹配
03
校准数据集
如何构建有效校准集？数据量、分布对校准的影响
04
校准方法 (上)
MinMax校准法原理与实现
05
校准方法 (中)
Percentile校准法原理与实现
06
校准方法 (下)
KL散度校准法原理与实现
07
逐层 vs 逐通道量化
两种粒度优缺点对比，如何选择？
08
对称 vs 非对称量化
适用场景分析，INT8量化实战
09
权重量化修复
权重异常值处理，裁剪与正则化技巧
10
激活值量化修复
激活值分布分析与调整，Clip操作应用
11
Batch Normalization融合
BN层对量化的影响，融合后精度恢复
12
量化感知训练 (QAT) 入门
什么是QAT？与PTQ的区别
13
QAT实战 (PyTorch)
FakeQuantize节点插入，实现QAT
14
QAT调参技巧
学习率、温度参数、STE改进
15
逐层精度分析
定位精度损失最大的层：工具与方法
16
敏感层保护策略
对敏感层使用更高精度 (混合精度量化)
17
知识蒸馏辅助修复
全精度模型指导量化模型训练
18
梯度修复技术
量化模型反向传播梯度修正
19
偏置校正
量化后偏置漂移检测与补偿
20
权重与激活协同优化
联合调整缩放因子和零点
21
跨层融合量化
Conv+BN+ReLU等结构融合量化策略
22
Transformer量化修复
Attention层特殊处理，Softmax量化难点
23
LLM量化修复 (上)
GPTQ方法原理与实践
24
LLM量化修复 (下)
AWQ方法原理与实践
25
量化模型部署
ONNX Runtime / TensorRT / TFLite 精度修复
26
自动化精度修复工具
开源工具 NNCF、Intel Neural Compressor
27
精度与速度权衡
最佳量化配置 · Pareto前沿分析
28
常见问题排查
量化后NaN、精度骤降诊断流程
29
案例实战 (一)
ResNet-50 INT8 精度从70%恢复到76%
30
案例实战 (二)
BERT模型量化精度损失修复全流程