细粒度剪枝：权重剪枝的原理与实现
好，咱们今天聊点硬核的——权重剪枝。
说白了，就是把模型里那些「不太重要」的权重直接干掉。你想想看，一个几百万参数的模型，真正起作用的可能只有一小半。剩下的那些，要么值特别小，要么对最终结果没啥影响。留着干嘛？浪费算力嘛。
我记得刚入行那会儿，带我的老工程师跟我说过一句话：「模型压缩的本质，就是学会做减法。」当时不太理解，后来做了几个项目才明白——剪枝这事儿，做得好是艺术，做不好就是灾难。
权重剪枝的核心思想
权重剪枝，也叫细粒度剪枝。它针对的是单个权重参数，而不是整个神经元或卷积核。
打个比方：你有一张神经网络，里面每个连接都有个权重值。有些权重是0.8、0.5这种大数，有些是0.001、0.0002这种小得可怜的数。那些特别小的权重，对最终输出的贡献微乎其微。把它们设成0，模型精度几乎不受影响。
这就是权重剪枝的基本逻辑——把绝对值低于某个阈值的权重直接置零。
关键点：剪枝不是删除参数，而是把参数变成0。参数还在，但值为0，乘法运算就跳过了。硬件加速器对0值有天然的加速优势。
剪枝阈值怎么定？
这是整个剪枝流程里最让人头疼的问题。阈值设高了，剪得多但精度掉得厉害；设低了，剪得少，加速效果不明显。
我常用的方法有这几种：
1. 全局固定阈值
最简单粗暴的方式。比如设定阈值为0.01，所有权重绝对值小于0.01的都剪掉。
import numpy as np
def global_threshold_pruning(weights, threshold=0.01):
mask = np.abs(weights) > threshold
pruned_weights = weights * mask
return pruned_weights, mask这个方法的问题很明显——不同层的权重分布不一样。有的层权重普遍偏小，有的层偏大。一刀切的结果往往是：某些层被剪光了，某些层几乎没动。
注意：我曾经在一个项目里用全局阈值剪枝，结果第一层卷积被剪掉了90%的参数，模型直接崩了。后来才发现，那层的权重分布整体偏小，阈值设得太高了。
2. 按层比例剪枝
更合理的做法是：每层单独设定阈值，保证每层剪掉相同比例的参数。
def layerwise_ratio_pruning(weights, ratio=0.5):
# 计算权重的绝对值
abs_weights = np.abs(weights)
# 找到分位数作为阈值
threshold = np.percentile(abs_weights, ratio * 100)
mask = abs_weights > threshold
return weights * mask, mask这样做的好处是：每层都保留了一定比例的权重，不会出现某层被「剃光头」的情况。
3. 基于重要性的动态阈值
我个人最推荐的方法。不是单纯看权重大小，而是看这个权重对损失函数的影响程度。
核心思想：一个权重的重要性 ≈ 权重值 × 梯度值
为什么？因为梯度反映了损失函数对这个权重的敏感度。权重值大但梯度小，说明它不重要；权重值小但梯度大，说明它其实挺关键。
def importance_based_pruning(weights, gradients, sparsity_target=0.5):
# 计算重要性分数
importance = np.abs(weights * gradients)
# 按重要性排序，保留最重要的部分
threshold = np.percentile(importance, sparsity_target * 100)
mask = importance > threshold
return weights * mask, mask经验之谈：我在做BERT模型压缩时，用重要性剪枝比单纯用权重大小剪枝，精度高了将近3个点。梯度信息真的很有价值，别浪费。
剪枝后的微调策略
剪完枝不能直接扔那儿不管。权重被置零后，模型精度一定会掉。这时候需要做微调（fine-tuning）。
我一般这么操作：
- 剪枝 → 微调 → 再剪枝 → 再微调，迭代进行
- 每次剪掉10%-20%的权重，不要一次剪太多
- 微调时学习率要调小，一般是原学习率的1/10
为什么不能一次剪到位？
你想想看，模型训练了那么久，权重之间已经形成了复杂的依赖关系。突然把一大半权重干掉，模型根本反应不过来。慢慢剪，给它时间适应，效果会好很多。
实际项目中的避坑指南
做权重剪枝这几年，我踩过的坑不少。挑几个典型的说说：
- 别剪BN层的参数——BN层的gamma和beta虽然也是参数，但剪了它们模型会乱套。我刚开始不懂，剪完BN层后模型直接不收敛了。
- 注意稀疏矩阵的存储——剪枝后权重变成稀疏矩阵，直接用普通矩阵存反而更占内存。要用CSR或CSC格式存储。
- 硬件兼容性——不是所有硬件都支持稀疏矩阵加速。剪枝前先确认你的部署平台能不能吃到稀疏化的红利。
曾经踩过的坑：有一次我在GPU上做剪枝加速，剪完后发现推理速度反而变慢了。查了半天才发现，GPU对非结构化稀疏的支持很差，剪枝后的权重分布不规则，没法利用硬件加速。后来改用结构化剪枝才解决问题。
剪枝效果评估
剪枝做得好不好，看两个指标：
| 指标 | 说明 | 我常用的标准 |
|---|---|---|
| 压缩率 | 剪掉的参数比例 | 通常50%-90% |
| 精度损失 | 剪枝前后模型精度的差值 | 控制在1%以内 |
嗯，这里要注意：压缩率和精度损失是 trade-off。压缩率越高，精度损失越大。具体怎么取舍，看你的业务需求。
如果模型部署在手机端，可能更看重压缩率；如果用在自动驾驶上，精度一点都不能丢。
小结
权重剪枝这件事，说难不难，说简单也不简单。核心就三点：
- 选对阈值策略（我推荐基于重要性的方法）
- 迭代剪枝 + 微调
- 注意硬件兼容性
做多了你会发现，剪枝其实是个「试错」的过程。每个模型、每个数据集都有自己的脾气。多试几次，找到最适合的那套参数，效果自然就出来了。
下一章咱们聊聊结构化剪枝，那个更暴力，但也更实用。到时候见。