模型部署中的量化误差修复实战 · 课程目录

量化基础回顾

什么是模型量化？为什么需要量化？量化的数学原理。

量化误差来源分析

权重截断误差、激活值量化误差、舍入误差。

校准数据集构建

如何选择代表性数据？数据量多少合适？数据预处理技巧。

MinMax校准方法

原理、实现、优缺点分析。

Percentile校准方法

原理、如何选择百分位？实战经验。

KL散度校准方法

原理、实现步骤、与MinMax对比。

MSE校准方法

原理、优化目标、代码实现。

逐层量化误差分析

如何定位问题层？工具与可视化。

敏感层识别

基于梯度的敏感度分析、基于输出的敏感度分析。

混合精度量化

原理、如何决定哪些层用高精度？

量化感知训练(QAT)入门

原理、与PTQ的区别。

QAT中的伪量化节点

FakeQuantize的实现与作用。

QAT训练技巧

学习率调整、BN层处理、梯度近似。

蒸馏辅助量化

知识蒸馏如何帮助量化修复？

逐通道量化

原理、优势、实现注意事项。

量化粒度选择

逐张量 vs 逐通道 vs 逐组。

对称量化 vs 非对称量化

选择策略与误差分析。

量化范围裁剪

如何找到最优的量化范围？

激活值异常值处理

Clip、ReLU6、自定义截断。

量化后微调

全模型微调 vs 部分层微调。

BN层融合与量化

BN融合原理、对量化的影响。

量化模型推理引擎

TensorRT、ONNX Runtime、TFLite对比。

量化误差调试工具

如何用代码逐层对比输出？

余弦相似度与SQNR

量化质量的评估指标。

常见量化失败案例

精度掉点、梯度爆炸、NaN问题。

硬件特性对量化的影响

不同NPU/GPU的量化差异。

量化模型部署流程

从PyTorch到ONNX到量化推理。

自动化量化调优工具

AutoQ、HAQ等框架介绍。

量化误差修复实战案例一

图像分类模型。

量化误差修复实战案例二

NLP模型（BERT）。