3、模型剪枝技术：结构化剪枝与非结构化剪枝、剪枝策略与效果评估
模型剪枝，说白了就是给神经网络“瘦身”。
你想想看，一个大模型动辄几百兆甚至几个G，放到手机或者嵌入式设备上，根本跑不动。我最早接触剪枝是在一个智能门锁的项目上，模型推理一次要3秒多，用户都按门铃按得不耐烦了。后来做了剪枝，推理时间压到了200毫秒以内，效果立竿见影。
3.1 非结构化剪枝：精细但“难伺候”
非结构化剪枝，也叫细粒度剪枝。它的做法很简单：把权重矩阵里那些绝对值很小的参数直接置零。
为什么是置零？因为小权重对最终结果影响不大，去掉它们，模型精度损失很小。
核心思想： 保留大权重，干掉小权重。
我在项目中遇到过一个问题：非结构化剪枝后，模型体积确实小了，但推理速度没怎么变。为什么？因为权重矩阵变成了稀疏矩阵，普通的硬件和库不支持稀疏计算，你存了一堆零，计算时还得一个个跳过，反而更慢。
代码实现其实不复杂，PyTorch里几行就能搞定：
import torch
import torch.nn.utils.prune as prune
# 假设有一个卷积层
model.conv1 = torch.nn.Conv2d(3, 64, 3)
# 对权重做L1非结构化剪枝，保留30%的参数
prune.l1_unstructured(model.conv1, name='weight', amount=0.7)
# 剪枝后，权重变成了稀疏张量
print(model.conv1.weight_mask) # 0/1掩码我的经验： 非结构化剪枝适合在GPU上做实验，但部署到ARM或MCU上，效果往往打折扣。除非你的推理框架支持稀疏矩阵加速，否则慎用。
3.2 结构化剪枝：粗暴但有效
结构化剪枝就不一样了。它直接干掉整个通道、整个卷积核，或者整个层。
你想想看，非结构化剪枝是“剪掉一根头发”，结构化剪枝是“剪掉一撮头发”。后者更彻底，对硬件也更友好。
常见的结构化剪枝方式有几种：
- 通道剪枝： 去掉不重要的特征图通道。比如一个卷积层输出64个通道，剪掉16个，剩下48个。
- 卷积核剪枝： 直接去掉整个卷积核。每个卷积核对应一个特征图，去掉它，计算量直接减少。
- 层剪枝： 去掉整个网络层。这个比较激进，一般用在深层网络上。
我记得有一次做人脸识别模型的部署，模型有50层，我试着剪掉了最后5个残差块，精度只掉了0.3%，但推理速度提升了40%。这就是结构化剪枝的魅力。
通道剪枝的代码示例：
# 基于BN层gamma值的通道剪枝
# gamma值越小，说明该通道越不重要
def prune_channels(model, prune_ratio=0.3):
bn_weights = []
for module in model.modules():
if isinstance(module, torch.nn.BatchNorm2d):
bn_weights.append(module.weight.data.abs().clone())
# 将所有BN层的gamma值合并，找到阈值
all_weights = torch.cat(bn_weights)
threshold = torch.quantile(all_weights, prune_ratio)
# 根据阈值生成剪枝掩码
# 实际剪枝需要重写网络结构，这里只做示意
print(f"剪枝阈值: {threshold:.4f}")
return threshold避坑指南： 我曾经在剪枝后忘记做微调，结果模型精度直接崩了。结构化剪枝一定要配合微调，一般需要3-5个epoch的重新训练，才能恢复精度。
3.3 剪枝策略：什么时候剪？剪多少？
剪枝不是一锤子买卖。我总结了几种常见的策略：
| 策略名称 | 做法 | 适用场景 |
|---|---|---|
| 一次性剪枝 | 训练→剪枝→微调 | 简单任务，剪枝比例小（<30%） |
| 迭代剪枝 | 训练→剪枝→微调→再剪枝→再微调... | 高压缩比任务（>50%） |
| 渐进式剪枝 | 训练过程中逐步增加剪枝比例 | 需要稳定训练的场景 |
| 自动剪枝 | 用强化学习或NAS搜索剪枝比例 | 有充足算力的团队 |
我个人习惯用迭代剪枝。为什么？因为一次性剪太多，模型容易“休克”。每次剪10%-20%，然后微调恢复，再剪下一轮。这样精度损失最小。
举个例子，我在一个语音唤醒词模型上做过实验：
- 一次性剪枝50%：精度从95%掉到82%
- 迭代剪枝50%（每次剪10%，共5轮）：精度掉到91%
差距很明显，对吧？
3.4 效果评估：别只看精度
剪枝效果好不好，不能只看精度。我一般会看四个指标：
- 精度变化： 剪枝前后精度差，一般控制在1%以内算合格。
- 模型体积： 剪枝后的模型文件大小，直接影响存储和加载时间。
- 推理速度： 这才是关键。剪枝后推理时间有没有降下来？
- 功耗： 嵌入式设备上，功耗往往比速度更重要。
嗯，这里要注意：结构化剪枝对推理速度的提升是立竿见影的，因为计算量实实在在地减少了。非结构化剪枝则要看硬件支持情况。
我的评估流程： 先看精度是否达标，再看推理速度是否满足实时性要求，最后看模型体积是否适合存储。三个条件都满足，才算剪枝成功。
3.5 知识体系：剪枝的核心逻辑
下面这张图是我自己整理的剪枝知识体系，你可以对照着理解：
从这张图可以看出来，剪枝的核心逻辑就是：选择剪枝方式 → 制定剪枝策略 → 评估剪枝效果。每一步都有讲究，不能乱来。
我的建议： 刚开始做剪枝，先从结构化剪枝入手，配合迭代策略。等经验丰富了，再尝试非结构化剪枝和自动剪枝。别一上来就想搞花活，稳扎稳打最重要。
好了，关于模型剪枝，我就讲这么多。记住一句话：剪枝不是目的，部署才是。剪完的模型能不能在你的目标设备上跑起来，跑得快不快，这才是最终要回答的问题。