📘 模型压缩·剪枝实战
30章 · 从入门到部署
🎯
友好色系 · 紧凑目录
01
模型压缩概述
为什么需要压缩
基本概念
应用场景与挑战
02
模型剪枝基础
结构化与非结构化
数学原理
评估指标
03
非结构化剪枝
权重剪枝原理
阈值设定
PyTorch实现
04
结构化剪枝
通道/滤波器剪枝
L1范数
PyTorch实现
05
剪枝后微调
精度影响
微调策略
学习率设置
实战恢复精度
06
迭代式剪枝
彩票假设
迭代流程
实验验证
代码实现
07
量化基础
模型量化概念
定点/浮点数
量化误差分析
08
训练后量化(PTQ)
静态/动态量化
校准数据集
PyTorch实现
09
量化感知训练(QAT)
模拟量化
伪量化节点
PyTorch实现
10
混合精度训练
FP16/BF16
AMP自动混合精度
加速&显存优化
11
知识蒸馏基础
教师-学生网络
KL散度·温度
蒸馏流程
12
知识蒸馏进阶
特征层蒸馏
关系蒸馏
自蒸馏
13
蒸馏与剪枝结合
先剪后蒸
先蒸后剪
联合训练
14
低秩分解
SVD·CP分解
全连接/卷积分解
PyTorch实现
15
权重共享与哈希
权重共享
哈希网络
代码实现对比
16
紧凑网络设计
MobileNet
ShuffleNet
EfficientNet
17
神经架构搜索(NAS)
搜索空间
强化学习/进化
性能评估
18
轻量化Transformer
稀疏/线性注意力
MobileBERT
TinyBERT
19
模型压缩工具库
TFLite
ONNX Runtime
TensorRT
OpenVINO
20
ONNX转换与优化
PyTorch转ONNX
图优化
动态形状
21
TensorRT部署实战
安装配置
引擎构建
INT8量化
22
移动端部署
Android/iOS
NNAPI·Core ML
性能调优
23
Web端部署
TF.js·ONNX.js
WebAssembly
浏览器推理
24
边缘设备部署
Jetson/树莓派
TFLite Micro
资源受限优化
25
项目实战(一) 图像分类
ResNet-50
剪枝+量化全流程
26
项目实战(二) 目标检测
YOLOv5
剪枝+蒸馏实战
27
项目实战(三) NLP模型
BERT蒸馏
量化部署
28
模型安全与鲁棒性
压缩vs对抗攻击
鲁棒性评估
防御策略
29
模型压缩前沿进展
结构化剪枝新方法
NNI·Distiller
大模型压缩
30
课程总结与展望
技术选型指南
学习路径
未来方向