模型剪枝技术 · 从理论到落地
📚 30章 完整目录
01
剪枝初探：什么是模型剪枝？为什么需要剪枝？剪枝能带来什么好处？
↗
02
剪枝理论基础：神经网络中的冗余、权重与激活值分布、剪枝的数学原理。
↗
03
剪枝分类（上）：非结构化剪枝 vs 结构化剪枝，细粒度剪枝 vs 粗粒度剪枝。
↗
04
剪枝分类（下）：静态剪枝 vs 动态剪枝，训练后剪枝 vs 训练时剪枝。
↗
05
剪枝粒度：权重剪枝、神经元剪枝、通道剪枝、层剪枝，各自的优缺点。
↗
06
剪枝标准（上）：基于权重大小、基于梯度、基于L1/L2范数的剪枝标准。
↗
07
剪枝标准（下）：基于信息熵、基于特征图激活、基于泰勒展开的剪枝标准。
↗
08
经典算法：Optimal Brain Damage (OBD) 与 Optimal Brain Surgeon (OBS)。
↗
09
经典算法：ThiNet 与 Network Slimming (BN层剪枝)。
↗
10
经典算法：Soft Filter Pruning (SFP) 与 FPGM (几何中位数剪枝)。
↗
11
经典算法：HRank (基于特征图秩的剪枝) 与 DepGraph (依赖图剪枝)。
↗
12
剪枝流程：训练 -> 剪枝 -> 微调 (三阶段法) 与 训练时剪枝 (One-Shot)。
↗
13
剪枝率设定：如何确定每层剪多少？全局剪枝率 vs 局部剪枝率。
↗
14
剪枝与重训练：剪枝后模型精度恢复策略，学习率调度、知识蒸馏辅助。
↗
15
剪枝工具：PyTorch 原生剪枝 (torch.nn.utils.prune) 实战。
↗
16
剪枝工具：TensorFlow Model Optimization Toolkit 实战。
↗
17
剪枝工具：Intel OpenVINO 与 Nvidia TensorRT 中的剪枝支持。
↗
18
剪枝框架：NNI (Microsoft) 与 PocketFlow (腾讯) 剪枝框架使用。
↗
19
剪枝实战（一）：基于权重大小的非结构化剪枝，完整代码与效果对比。
↗
20
剪枝实战（二）：基于BN层Gamma系数的结构化通道剪枝，完整代码。
↗
21
剪枝实战（三）：基于泰勒展开的重要性评估剪枝，完整代码。
↗
22
剪枝实战（四）：结合知识蒸馏的剪枝，提升小模型精度。
↗
23
剪枝与量化：剪枝+量化联合优化，如何做到1+1>2？
↗
24
剪枝与蒸馏：剪枝+蒸馏的协同工作流，实际部署案例。
↗
25
剪枝在CV任务中的应用：图像分类、目标检测、语义分割模型剪枝。
↗
26
剪枝在NLP任务中的应用：BERT、GPT等Transformer模型剪枝。
↗
27
剪枝在边缘设备部署：手机端、IoT设备上的剪枝模型落地。
↗
28
剪枝的挑战与陷阱：精度骤降、结构破坏、硬件不友好等问题。
↗
29
剪枝前沿：自动剪枝 (AutoML)、彩票假设 (Lottery Ticket Hypothesis)。
↗
30
剪枝总结与展望：剪枝技术全景图、未来趋势、学习路径建议。
↗