01
量化技术全景图
什么是模型量化？为什么需要量化？对称/非对称量化、缩放因子与零点。
数学原理基础
02
PTQ基础入门
Post-Training Quantization概念、Calibration数据集、静态量化与动态量化区别。
PTQ校准
03
PTQ实战：PyTorch静态量化
torch.quantization 静态量化、观察精度损失、调整校准策略。
PyTorch代码
04
PTQ进阶技巧
逐层/逐通道量化、融合BN与Conv、量化敏感层分析与处理。
优化融合
05
PTQ精度调优
量化误差来源、KL散度优化阈值、混合精度(FP16)量化。
KL散度混合精度
06
PTQ in TensorRT
TensorRT INT8流程、校准器(Entropy/Histogram)、实战案例。
TensorRTNVIDIA
07
PTQ in OpenVINO
OpenVINO量化流程、NNCF压缩工具、FP32→INT8转换。
OpenVINOIntel
08
PTQ in TFLite
TFLite量化流程、代表性数据集生成、部署。
TFLite移动端
09
PTQ in ONNX Runtime
ORT量化工具、QDQ格式理解、量化流程。
ONNXORT
10
PTQ总结与瓶颈分析
PTQ局限性、何时转向QAT、精度与速度权衡。
总结瓶颈
11
QAT基础入门
Quantization-Aware Training概念、Fake Quantization原理、与PTQ核心区别。
QAT原理
12
QAT数学原理
直通估计器(STE)、梯度近似、量化误差反向传播。
STE梯度
13
QAT实战入门 (PyTorch)
torch.quantization.quantize_qat、训练流程搭建。
PyTorch实战
14
QAT模型准备
插入FakeQuantize节点、BN折叠、模型等价转换。
FakeQuant折叠
15
QAT训练策略
学习率调整(余弦退火)、量化参数更新、冻结BN与激活。
策略余弦退火
16
QAT精度调优
逐层精度监控、敏感层回退FP16、Per-tensor vs Per-channel。
调优粒度
17
QAT in TensorRT
TensorRT QAT流程、QAT转TRT引擎、精度对比。
TensorRT引擎
18
QAT in OpenVINO (NNCF)
NNCF QAT工具、压缩训练、INT8模型导出。
NNCFOpenVINO
19
QAT in TFLite
TFLite QAT流程、量化感知训练API、转换与部署。
TFLite部署
20
QAT in ONNX Runtime
ORT QAT流程、训练后导出ONNX、精度验证。
ORTONNX
21
QAT高级技巧
知识蒸馏+QAT、渐进式量化、量化参数初始化。
蒸馏渐进
22
QAT与硬件协同
GPU/CPU/NPU支持差异、硬件约束下的量化策略。
硬件协同
23
QAT在NLP模型中的应用
BERT/T5 Transformer量化挑战、NLP实践。
NLPTransformer
24
QAT在CV模型中的应用
ResNet/YOLO量化、检测/分割任务注意事项。
CVYOLO
25
QAT在语音模型中的应用
Wav2Vec2/Conformer量化、语音特殊处理。
语音Wav2Vec
26
PTQ→QAT迁移策略
何时切换、混合方案(PTQ+QAT)、精度回退机制。
迁移混合
27
量化工具链对比
PyTorch vs TensorRT vs OpenVINO vs TFLite vs ORT 能力对比。
对比选型
28
量化模型部署实战
训练到部署全流程、格式转换(ONNX/TRT/OV)、推理优化。
部署全流程
29
精度验证与监控
精度评估指标、端到端测试、生产监控与回滚。
监控验证
30
量化前沿与未来趋势
FP8/FP4量化、LLM量化(GPTQ/AWQ)、自动化工具。
前沿LLM