模型量化剪枝蒸馏 · 全流程实践
📚
30章 完整目录
🎯
✦ 从基础到部署 · 每一章可点击跳转
⚡ 友好色系
1
L01
课程导论与模型压缩全景
为什么需要模型压缩？量化、剪枝、蒸馏的定义与关系，工业界应用场景概览。
→
2
L02
深度学习模型基础回顾
PyTorch/TensorFlow模型结构、前向推理、计算图与张量，为后续优化打基础。
→
3
L03
模型量化原理（上）
浮点数与定点数表示，线性量化与非线性量化，对称量化与非对称量化。
→
4
L04
模型量化原理（下）
量化参数 (scale, zero_point) 的确定，校准数据集与KL散度，量化误差分析。
→
5
L05
PyTorch量化工具实战（一）
Eager Mode量化入门，动态量化 (Dynamic Quantization) 实现与效果评估。
→
6
L06
PyTorch量化工具实战（二）
静态量化 (Static Quantization) —— fuse、prepare、calibrate、convert全流程。
→
7
L07
PyTorch量化工具实战（三）
量化感知训练 (QAT) 原理与实现，模拟量化算子，finetune技巧。
→
8
L08
TensorFlow Lite量化实践
TFLite转换器，FP16与INT8量化，量化调试与精度验证。
→
9
L09
ONNX与NVIDIA TensorRT量化
ONNX导出与优化，TensorRT的INT8/FP16校准与部署。
→
10
L10
模型剪枝基础
剪枝分类 (结构化/非结构化、细粒度/粗粒度)，L1/L2范数剪枝，阈值选择。
→
11
L11
结构化剪枝实战
通道剪枝 (Channel Pruning) 原理，使用torch.nn.utils.prune进行通道剪枝。
→
12
L12
非结构化剪枝与稀疏性
权重剪枝、梯度剪枝，稀疏矩阵存储与加速，N:M稀疏性。
→
13
L13
剪枝后微调与恢复
剪枝-训练循环 (Iterative Pruning)，学习率调度，防止精度崩塌。
→
14
L14
知识蒸馏原理
教师-学生框架，软标签与硬标签，温度系数T的作用，蒸馏损失函数设计。
→
15
L15
Logits蒸馏实战
使用KL散度匹配教师与学生输出，温度调节技巧，代码实现。
→
16
L16
特征层蒸馏 (Hint Learning)
中间层特征对齐，注意力转移 (Attention Transfer)，FSP矩阵。
→
17
L17
关系蒸馏与自蒸馏
实例间关系 (Relational KD)，自蒸馏 (Self-KD) 与Born-Again Networks。
→
18
L18
蒸馏与量化/剪枝的联合优化
量化感知蒸馏 (QKD)，剪枝蒸馏协同，三步走策略。
→
19
L19
模型压缩工具链（一）
NNI (Neural Network Intelligence) 框架——自动剪枝、量化、蒸馏。
→
20
L20
模型压缩工具链（二）
Intel OpenVINO与NNCF，模型优化与部署一体化。
→
21
L21
模型压缩工具链（三）
TensorFlow Model Optimization Toolkit (TF MOT) 实践。
→
22
L22
边缘端部署实战（一）
Android/iOS端模型转换，Core ML与NNAPI适配，量化模型上板。
→
23
L23
边缘端部署实战（二）
树莓派/Jetson Nano部署，TensorRT与ONNX Runtime性能对比。
→
24
L24
云端部署与推理优化
GPU/CPU推理加速，TensorRT与ONNX Runtime，批处理与动态shape。
→
25
L25
精度与速度的权衡
压缩率-精度曲线，Pareto最优，业务场景下的决策策略。
→
26
L26
模型压缩中的常见陷阱
量化敏感层识别，剪枝率过高导致结构崩塌，蒸馏教师模型选择。
→
27
L27
模型压缩评估体系
推理延迟、吞吐量、模型体积、功耗、精度保持率，多维度评估。
→
28
L28
综合项目实战（一）
从预训练ResNet-50出发，依次进行剪枝、量化、蒸馏，记录每一步效果。
→
29
L29
综合项目实战（二）
将压缩后的模型部署到移动端/边缘端，端到端性能测试与调优。
→
30
L30
课程总结与前沿展望
模型压缩最新趋势 (混合精度、自动化压缩、大模型压缩)，学习路径推荐。
→