01
PTQ概述
什么是模型量化 · PTQ与QAT的区别 · 适用场景与优势
入门核心概念
02
量化基础理论
定点数与浮点数 · 对称/非对称量化 · scale/zero_point
数学原理
03
校准数据集
校准集作用 · 构建方法 · 数据量选择
数据实践
04
常用校准方法
MinMax · Histogram · Percentile · KL散度
算法对比
05
量化粒度
Per-tensor · Per-channel · Per-group
粒度精度
06
权重量化
对称/非对称量化 · 常见问题
权重参数
07
激活值量化
动态范围 · 量化难点 · 滑动平均与校准
激活动态
08
Batch Normalization融合
BN与卷积融合原理 · 融合后量化影响
优化加速
09
量化感知训练(QAT)简介
QAT与PTQ关系 · 何时需要QAT · 代价
QAT对比
10
PTQ工具链概览
TensorRT · ONNX Runtime · PyTorch · NCNN · TFLite
工具生态
11
PyTorch PTQ实战 (上)
torch.quantization模块 · 准备模型与校准数据
PyTorch代码
12
PyTorch PTQ实战 (下)
执行PTQ · 保存量化模型 · 推理验证
PyTorch部署
13
ONNX Runtime PTQ实战
ORT量化工具 · 校准与导出
ONNX跨平台
14
TensorRT PTQ实战
TRT PTQ流程 · INT8校准器选择
TensorRTNVIDIA
15
NCNN PTQ实战
ncnn2table工具 · 量化参数配置
NCNN端侧
16
TFLite PTQ实战
Converter量化选项 · 代表性数据集
TFLite移动端
17
量化精度评估
Accuracy · mAP · BLEU · 浮点vs量化对比
评估指标
18
常见精度下降原因
激活值异常 · 校准数据不匹配 · 参数选择不当
排错分析
19
精度调优策略
逐层分析 · 敏感层回退 · 混合精度量化
调优策略
20
敏感层分析
定位敏感层 · 回退到FP16/FP32
分析回退
21
混合精度量化
不同层不同位宽 · 硬件支持
混合精度硬件
22
INT4与更低比特量化
INT4挑战 · NF4 · GPTQ算法简介
极低比特前沿
23
量化与部署
模型导出 · 推理引擎加载 · 端侧注意事项
部署工程
24
硬件适配
GPU · CPU · NPU · DSP 量化支持差异
硬件兼容
25
PTQ在NLP模型中的应用
Transformer量化难点 · KV Cache量化
NLPTransformer
26
PTQ在CV模型中的应用
检测 · 分割模型量化经验
CV视觉
27
PTQ在语音模型中的应用
Wav2Vec · Whisper等模型量化
语音音频
28
PTQ自动化工具
自动搜索校准方法 · 自动调优量化参数
自动化效率
29
PTQ常见问题与排查
精度暴跌 · 速度不达标 · 模型崩溃
排错实战
30
PTQ未来趋势
FP8量化 · 量化与剪枝结合 · 端侧大模型量化
趋势前沿