4、模型剪枝技术：结构化剪枝与非结构化剪枝、剪枝策略与流程、剪枝后的微调方法、剪枝工具介绍
模型剪枝，说白了就是给大模型「瘦身」。
你想想看，一个几十亿参数的模型，里面其实有很多权重是冗余的。就像一棵大树，有些枝叶其实不参与光合作用，剪掉它们，树反而长得更好。
我在边缘设备上部署模型时，最头疼的就是内存和算力限制。剪枝是我最常用的手段之一。今天我们就来聊聊剪枝的那些事儿。
4.1 结构化剪枝 vs 非结构化剪枝
这两种剪枝方式，本质区别在于「剪掉什么」以及「剪完怎么跑」。
4.1.1 非结构化剪枝
非结构化剪枝，就是直接把权重矩阵中绝对值较小的参数置为零。它很灵活，想剪哪个权重就剪哪个。
但问题来了——剪完后的权重矩阵变得稀疏了。稀疏矩阵在普通硬件上跑，其实并不快。你需要专门的稀疏计算库或者硬件支持。
我个人习惯在探索阶段用非结构化剪枝，因为它实现简单，能快速验证剪枝比例对精度的影响。
- 剪枝粒度：单个权重
- 稀疏模式：不规则
- 硬件加速：需要特殊支持
- 压缩率：高（可达90%以上）
4.1.2 结构化剪枝
结构化剪枝就不一样了。它剪的是整个通道、整个卷积核或者整个层。剪完之后，模型结构还是规整的。
这意味着什么？意味着你不需要任何特殊硬件，直接在通用推理框架上就能跑，而且速度提升是实打实的。
我在项目中遇到过一个问题：用非结构化剪枝剪了80%的参数，结果在树莓派上推理速度只快了10%。换成结构化剪枝，剪掉50%的通道，速度直接翻倍。嗯，这就是现实。
4.2 剪枝策略与流程
剪枝不是一锤子买卖。我总结了一套比较靠谱的流程，分享给你。
4.2.1 剪枝策略
常见的策略有三种：
- 训练后剪枝：模型训练完直接剪。简单粗暴，但精度损失大。
- 训练中剪枝：边训练边剪。效果不错，但训练时间会变长。
- 迭代剪枝：剪一点→微调→再剪一点→再微调。这是我最常用的方法，精度损失最小。
为什么会推荐迭代剪枝？
因为一次性剪太多，模型「伤筋动骨」，很难恢复。就像减肥，你不可能一天减掉20斤，身体受不了。模型也一样。
4.2.2 剪枝流程
我一般按这个步骤来：
- 评估重要性：计算每个权重或通道的重要性分数。常用的有L1范数、L2范数、梯度幅值等。
- 确定剪枝率：根据目标压缩比，设定剪枝阈值。比如保留50%的通道。
- 执行剪枝：把不重要的权重或通道移除。
- 微调恢复：用少量数据重新训练，让模型适应新结构。
- 验证：检查精度和推理速度。如果精度下降太多，降低剪枝率重来。
4.3 剪枝后的微调方法
剪枝完不微调，等于白剪。微调的目的就是让模型「忘记」被剪掉的部分，重新适应新结构。
我常用的微调方法有三种：
| 方法 | 适用场景 | 我的经验 |
|---|---|---|
| 全量微调 | 剪枝率较低（<30%） | 效果好，但耗时。我一般只跑5-10个epoch |
| 部分微调 | 剪枝率中等（30%-60%） | 只微调最后几层，前面层冻结。省时间 |
| 知识蒸馏 | 剪枝率较高（>60%） | 用原始大模型当老师，剪枝后的小模型当学生。效果出奇的好 |
微调时要注意几点：
- 学习率要小，建议1e-5到1e-4之间
- batch size可以适当增大，因为模型变小了
- 如果精度恢复不理想，试试先冻结剪枝层，只微调其他层
4.4 剪枝工具介绍
工欲善其事，必先利其器。我常用的剪枝工具有这几个：
4.4.1 PyTorch 原生剪枝
PyTorch 从1.4版本开始就内置了剪枝模块。用起来很方便：
import torch.nn.utils.prune as prune
# 对卷积层进行L1非结构化剪枝，剪掉20%的权重
prune.l1_unstructured(conv_layer, name='weight', amount=0.2)
# 对全连接层进行结构化剪枝，剪掉30%的通道
prune.ln_structured(fc_layer, name='weight', amount=0.3, n=2, dim=0)优点是不需要额外安装库。缺点是功能有限，复杂策略得自己写。
4.4.2 Intel Neural Compressor
这个工具我强烈推荐。它集成了剪枝、量化、蒸馏等多种压缩技术。
我在一个NLP模型上用过，剪枝+量化后，模型大小从500MB降到80MB，精度只掉了0.5%。
4.4.3 TensorFlow Model Optimization Toolkit
如果你用TensorFlow，这个工具包是首选。支持结构化剪枝和非结构化剪枝。
我记得有一次，客户要求模型必须在1MB以内。我用这个工具把MobileNet剪到了0.8MB，精度还有92%。
好了，关于模型剪枝，今天就聊这么多。记住一句话：剪枝不是目的，部署才是。剪完的模型能不能在你的目标设备上跑得快、跑得稳，这才是关键。