QAT与PTQ量化精度调优实战

📚 共计 30 章节
01
量化基础概念
什么是模型量化、为什么需要量化、量化的数学原理(对称/非对称量化)
对称量化非对称数学原理
02
量化精度评估指标
量化前后精度对比方法、余弦相似度、KL散度、Top-1/Top-5准确率
余弦相似度KL散度Top-1
03
PTQ原理与流程
Post-Training Quantization基本流程、校准数据集的选择、观察者的配置
校准集观察者PTQ流程
04
PTQ实战
使用PyTorch FX进行PTQ、使用TensorRT进行PTQ、使用ONNX Runtime进行PTQ
PyTorch FXTensorRTONNX
05
PTQ精度调优策略
逐层精度分析、敏感层定位、混合精度量化(保留FP16/INT8混合)
敏感层混合精度逐层分析
06
PTQ常见问题与解决
校准数据过拟合、量化噪声放大、激活值分布异常处理
过拟合噪声放大激活异常
07
QAT原理与流程
Quantization-Aware Training基本流程、伪量化节点(FakeQuant)的作用
FakeQuantQAT流程伪量化
08
QAT实战
在PyTorch中实现QAT、在TensorFlow中实现QAT、在PaddlePaddle中实现QAT
PyTorchTensorFlowPaddlePaddle
09
QAT训练技巧
学习率调整策略、BN层融合技巧、梯度直通估计(STE)原理
STEBN融合学习率
10
QAT精度调优
不同量化位宽(INT4/INT8/FP8)的选择、逐通道量化 vs 逐层量化
INT4/INT8FP8逐通道
11
QAT与PTQ对比分析
精度差异、部署效率、适用场景选择指南
精度对比部署效率场景选择
12
量化感知训练中的正则化
权重正则化对量化友好的影响、激活值范围约束
正则化激活约束量化友好
13
量化模型部署
ONNX导出、TensorRT引擎构建、OpenVINO部署、TFLite转换
ONNXTensorRTOpenVINOTFLite
14
硬件平台适配
NVIDIA GPU(Tensor Core INT8)、Intel CPU(VNNI指令集)、ARM(DSP/NPU)
Tensor CoreVNNIARM DSP
15
量化模型推理优化
算子融合、内存布局优化、并行计算优化
算子融合内存布局并行计算
16
量化模型精度回退机制
当精度损失过大时如何自动回退到高精度
自动回退精度保护Fallback
17
跨框架量化工具链
Intel Neural Compressor、NVIDIA TensorRT、ONNX Runtime量化工具
Neural CompressorTensorRTONNX Runtime
18
量化模型调试工具
Netron可视化、量化误差分析工具、逐层精度对比工具
Netron误差分析逐层对比
19
CV模型量化实战
ResNet-50 PTQ/QAT实战、YOLOv8量化部署、MobileNet量化优化
ResNet-50YOLOv8MobileNet
20
NLP模型量化实战
BERT量化部署、GPT量化挑战、Transformer量化技巧
BERTGPTTransformer
21
语音模型量化实战
Wav2Vec2量化、Conformer量化、流式模型量化要点
Wav2Vec2Conformer流式模型
22
生成式模型量化
Stable Diffusion量化、LLM量化(GPTQ/AWQ)、Diffusion模型量化
Stable DiffusionGPTQAWQ
23
量化与剪枝联合优化
结构化剪枝+量化、非结构化剪枝+量化、联合训练策略
结构化剪枝非结构化联合训练
24
量化与蒸馏联合优化
知识蒸馏+量化、量化感知蒸馏、Teacher-Student量化框架
知识蒸馏Teacher-Student量化蒸馏
25
自动化量化工具
AutoQ、HAQ、SPIQ等自动化量化搜索算法
AutoQHAQSPIQ
26
量化模型安全与鲁棒性
量化对对抗攻击的影响、量化模型的鲁棒性评估
对抗攻击鲁棒性安全评估
27
量化模型边缘端部署
TFLite Micro、ONNX Runtime Mobile、NCNN部署实战
TFLite MicroONNX MobileNCNN
28
量化模型性能基准测试
延迟、吞吐量、内存占用、功耗的全面评估方法
延迟吞吐量功耗
29
量化模型生产环境最佳实践
CI/CD集成量化流程、模型版本管理、A/B测试策略
CI/CD版本管理A/B测试
30
量化前沿趋势
FP8训练与推理、混合精度量化新范式、硬件感知量化(HAQ)最新进展
FP8混合精度HAQ