端侧模型压缩与量化全流程实战 · 课程目录

🧩 全流程目录 · 点击卡片跳转至对应章节 01.html ~ 30.html

01模型压缩概览

为什么端侧需要模型压缩？压缩与量化的核心目标与挑战。

02模型量化基础

什么是量化？对称/非对称量化，量化参数 (scale, zero-point)。

03量化精度与数值格式

FP32、FP16、INT8、INT4 精度对比，量化误差来源分析。

04训练后量化 PTQ

PTQ 原理、校准数据集、KL散度与MinMax校准方法。

05量化感知训练 QAT

QAT 原理、伪量化节点、直通估计器 (STE)。

06权重量化与激活量化

权重分布特性、激活值分布特性、逐层 vs 逐通道量化。

07混合精度量化

敏感层保留高精度、自动混合精度搜索 (HAQ、SPIQ)。

08模型剪枝基础

结构化剪枝 vs 非结构化剪枝、剪枝粒度 (权重级/通道级/层级)。

09剪枝策略与实现

L1/L2 范数剪枝、基于 BN 缩放因子剪枝、软剪枝与硬剪枝。

10知识蒸馏入门

教师-学生架构、软标签与硬标签、温度系数 T 的作用。

11蒸馏损失函数设计

KL 散度损失、MSE 损失、任务特定损失 (如 CTC 损失)。

12蒸馏策略进阶

在线蒸馏、自蒸馏、多教师蒸馏、特征层蒸馏。

SVD 分解、CP 分解、Tucker 分解在卷积/全连接层的应用。

14轻量化网络设计

MobileNet、ShuffleNet、EfficientNet 核心思想与适用场景。

15端侧推理引擎概览

TFLite、ONNX Runtime、NCNN、MNN、TensorRT 对比。

16TFLite 量化实战

TFLite Converter、动态范围量化、全整数量化、FP16 量化。

17ONNX 模型优化

ONNX Simplifier、常量折叠、算子融合、动态形状处理。

18NCNN 部署流程

模型转换 (onnx2ncnn)、FP16 推理、INT8 量化校准。

19MNN 量化与优化

MNN 模型压缩工具、量化校准、算子优化、多线程加速。

20TensorRT 量化

INT8 校准 (Calibrator)、动态形状、层融合、内存优化。

21硬件适配与算子优化

CPU (ARM NEON)、GPU (OpenCL/Metal)、NPU (SNPE/MediaPipe)。

22模型转换与精度对齐

算子映射表、数值误差分析、逐层输出对比工具。

23端侧性能评估指标

推理延迟、内存占用、功耗、模型体积、吞吐量。

24压缩与量化联合优化

剪枝+量化、蒸馏+量化、剪枝+蒸馏+量化的协同策略。

25自动化压缩工具链

NNI、Intel Distiller、TinyML、TensorFlow Model Optimization。

26端侧模型安全与鲁棒性

量化对对抗样本的影响、剪枝后的鲁棒性退化。

27实战：图像分类 MobileNetV2

MobileNetV2 压缩与量化全流程。

28实战：目标检测 YOLOv5s

YOLOv5s INT8 量化与部署。

29实战：语音识别 WeNet

WeNet 端侧部署与优化。

30课程总结与未来趋势

端侧 AI 芯片发展、模型压缩前沿 (二值化、神经架构搜索)。