01
量化基础概念
什么是模型量化、为什么需要量化、量化的数学原理（对称/非对称量化）
数学原理对称
02
量化精度与性能权衡
INT8 vs FP16 vs FP32、精度损失分析、性能提升实测数据
INT8FP16性能
03
TensorRT基础
TensorRT简介、安装与配置、核心组件（Builder、Engine、Context）解析
BuilderEngine
04
TensorRT量化工具链
PTQ流程、校准数据集准备、INT8校准器（Calibrator）详解
PTQCalibrator
05
TensorRT PTQ实战
使用Python API进行PTQ量化、导出INT8引擎、精度验证与调试
Python APIINT8
06
QAT（量化感知训练）原理
模拟量化（Fake Quantization）、直通估计器（STE）、QAT训练流程
STEFake Quant
07
PyTorch QAT实战
torch.quantization模块使用、fuse_modules操作、QAT训练与导出
fusetorch
08
TensorRT QAT集成
从PyTorch导出QAT模型、TensorRT解析QAT节点、精度对比
QAT集成
09
ONNX与量化
ONNX简介、PyTorch导出ONNX、ONNX Runtime量化工具
ONNX导出
10
ONNX Runtime量化实战
使用onnxruntime.quantization进行PTQ、QDQ格式解析
QDQPTQ
11
GPU算子优化基础
CUDA核心概念、Warp与Thread调度、内存层次结构
CUDAWarp
12
TensorRT算子融合
层融合原理、常见融合模式（Conv+Bias+ReLU）、自定义融合插件
融合Plugin
13
动态形状处理
动态batch、动态输入尺寸、TensorRT动态形状配置
动态形状
14
多流与并发推理
CUDA Stream概念、多流推理实现、异步推理与同步
Stream并发
15
模型序列化与反序列化
TensorRT引擎序列化、跨平台部署、版本兼容性
序列化部署
16
INT4与更低比特量化
INT4量化挑战、NF4与FP4格式、实际应用场景
INT4NF4
17
稀疏化与量化结合
结构化稀疏、非结构化稀疏、稀疏+INT8联合优化
稀疏INT8
18
蒸馏与量化结合
知识蒸馏原理、蒸馏+QAT联合训练、精度恢复技巧
蒸馏QAT
19
多GPU推理
数据并行、模型并行、TensorRT在多GPU上的部署
多GPU并行
20
边缘设备量化部署
Jetson系列设备、TensorRT for Jetson、功耗与性能平衡
Jetson边缘
21
量化模型调试工具
精度分析工具（Polygraphy）、逐层精度对比、异常定位
Polygraphy调试
22
Polygraphy实战
模型比较、层输出dump、精度回退策略
dump回退
23
自定义量化算子
编写自定义INT8算子、TensorRT插件开发、CUDA kernel实现
PluginCUDA
24
量化模型安全与鲁棒性
对抗攻击对量化模型的影响、防御策略、安全部署建议
安全鲁棒性
25
大规模模型量化
LLM量化挑战、GPTQ与AWQ算法、KV Cache量化
LLMGPTQAWQ
26
GPTQ算法实战
GPTQ原理、AutoGPTQ库使用、量化LLaMA模型
AutoGPTQLLaMA
27
AWQ算法实战
AWQ原理、AutoAWQ库使用、与GPTQ对比
AutoAWQ对比
28
量化模型性能基准测试
延迟测试、吞吐量测试、功耗测试、报告生成
基准延迟吞吐
29
生产环境部署最佳实践
CI/CD集成、A/B测试、模型版本管理、监控告警
CI/CD监控
30
综合实战项目
从训练到部署全流程、端到端量化部署、性能调优总结
全流程调优