01
量化入门
什么是模型量化、为什么需要量化、对称/非对称量化、精度与性能权衡
基础原理
02
环境搭建
安装PyTorch/ONNX Runtime/TensorRT/OpenVINO，验证环境
工具配置
03
PyTorch静态量化
FakeQuantize原理、插入量化节点、校准、转换量化模型
PyTorchPTQ
04
PyTorch动态量化
动态量化原理、LSTM/Transformer实战、性能对比
动态NLP
05
量化感知训练 QAT
prepare_qat、模拟量化训练、QAT vs PTQ对比
QAT训练
06
ONNX Runtime量化
ONNX导出、ORT量化工具、静态/动态量化、QDQ格式
ONNX跨平台
07
TensorRT量化 (INT8)
trtexec、INT8校准、Polygraphy、精度调试
GPUNVIDIA
08
Intel OpenVINO量化
模型优化器、POT、NNCF量化、INT8部署
IntelCPU
09
NVIDIA TAO Toolkit
模型训练剪枝、QAT量化、导出TensorRT引擎
TAO边缘
10
TensorFlow Lite量化
TFLite转换、动态/全整型/Float16量化、校准
移动端TFLite
11
Core ML量化 (Apple)
coremltools、kmeans/linear/lut、Neural Engine
AppleANE
12
Qualcomm SNPE量化
DLC转换、INT8量化、AIP优化、精度验证
骁龙NPU
13
地平线BPU量化
OE工具链、模型转换校准、INT8部署调优
地平线BPU
14
华为昇腾量化
CANN/AMCT、量化校准、Atlas部署
昇腾NPU
15
算能SOPHGO量化
TPU工具链、BMNETC、INT8量化、性能测试
算能TPU
16
RKNN量化 (Rockchip)
RKNN Toolkit、混合量化、RK3588部署
瑞芯微NPU
17
Mediatek NeuroPilot
SDK、INT8量化、MTK APU部署调优
联发科APU
18
通用量化工具 NNCF
Intel NNCF、PyTorch压缩、QAT、混合精度
NNCF开源
19
精度分析与调试
余弦相似度/MSE、敏感层定位、混合精度策略
调试精度
20
校准数据集构建
数据增强、代表性样本、数据量影响
校准数据
21
量化算子支持与限制
Conv/MatMul/Add/Concat、自定义算子量化
算子兼容
22
CPU部署实战
ONNX Runtime+OpenVINO、线程/内存优化
CPU延迟
23
GPU部署实战
TensorRT、动态形状、多流、CUDA Graph
GPU吞吐
24
NPU部署实战
SNPE/BPU/昇腾、内存管理、多模型流水线
NPU功耗
25
移动端部署实战
TFLite+Core ML+NNAPI、模型大小/启动优化
移动端端侧
26
边缘设备部署
Jetson/Raspberry Pi/Rockchip/算能盒子对比
边缘IoT
27
云端部署实战
Triton+TensorRT、动态批处理、弹性伸缩
云端Triton
28
安全性与鲁棒性
对抗样本影响、鲁棒性评估、防御策略
安全鲁棒
29
工具链选型指南
硬件选型、精度-速度-成本权衡、团队匹配
选型策略
30
前沿与未来趋势
FP8量化、QAS、大模型量化GPTQ/AWQ、硬件支持
前沿趋势