4. 模型剪枝策略：结构化剪枝与非结构化剪枝在Transformer架构上的实践
模型剪枝，说白了就是给大模型「瘦身」。
Transformer架构在风电运维场景下，动不动就是几亿参数。你想想看，一个故障预测模型部署在风机边缘端，内存只有几百兆，推理还得实时。这时候，剪枝就成了刚需。
我个人习惯把剪枝分成两类：结构化剪枝和非结构化剪枝。这两者在Transformer上的表现，差别还挺大的。
4.1 非结构化剪枝：细粒度，但硬件不友好
非结构化剪枝，就是直接把权重矩阵里那些「不重要」的单个参数置零。
怎么判断重不重要？最常用的方法是看权重的绝对值大小。绝对值小的，对最终输出贡献就小，剪掉它影响不大。
核心思路： 设定一个阈值，低于阈值的权重全部归零。
我在项目中遇到过一个问题：非结构化剪枝后，模型精度掉得不多，但推理速度几乎没变。为什么？
因为硬件（GPU/CPU）对稀疏矩阵的支持很差。你虽然把50%的参数变成了0，但计算时还是得按稠密矩阵去算。除非你用专门的稀疏计算库，比如PyTorch的torch.sparse，但说实话，在风电边缘端部署时，这些库往往不支持。
代码实现其实很简单：
import torch
import torch.nn as nn
def unstructured_prune(model, pruning_ratio=0.3):
"""
非结构化剪枝：按绝对值大小剪掉指定比例的权重
"""
for name, param in model.named_parameters():
if 'weight' in name:
# 计算阈值
threshold = torch.quantile(torch.abs(param.data), pruning_ratio)
# 创建掩码
mask = torch.abs(param.data) > threshold
# 应用剪枝
param.data.mul_(mask.float())
return model
# 使用示例
pruned_model = unstructured_prune(transformer_model, pruning_ratio=0.5)
小技巧： 剪枝比例不要一次性拉满。我建议从10%开始，每次增加5%，观察精度变化。一旦精度掉超过1%，就停下来。
4.2 结构化剪枝：粗粒度，但立竿见影
结构化剪枝就不一样了。它不是剪单个参数，而是剪整个结构单元。
在Transformer里，常见的结构化剪枝对象包括：
- 注意力头（Attention Head）剪枝：直接移除某些注意力头
- 前馈网络（FFN）神经元剪枝：移除中间层的某些神经元
- 层剪枝（Layer Pruning）：直接移除整个Transformer层
你想想看，剪掉一个注意力头，整个矩阵的维度就变小了。推理时计算量是实打实地减少。这就是结构化剪枝的优势——硬件友好。
我曾经在某个风电功率预测模型上试过。原始模型12层Transformer，每层8个注意力头。我剪掉了2层，每层再剪掉2个注意力头。模型大小从500MB降到了280MB，推理速度提升了40%，精度只掉了0.3%。
注意力头剪枝的代码示例：
def prune_attention_heads(model, head_importance, keep_ratio=0.75):
"""
结构化剪枝：基于注意力头重要性分数剪枝
head_importance: 每个注意力头的重要性分数，shape [num_layers, num_heads]
"""
num_heads_to_keep = int(model.config.num_attention_heads * keep_ratio)
for layer_idx, layer in enumerate(model.encoder.layer):
# 获取当前层各头的重要性
head_scores = head_importance[layer_idx]
# 保留最重要的头
topk_indices = torch.topk(head_scores, num_heads_to_keep).indices
# 修改注意力层的配置
layer.attention.self.num_heads = num_heads_to_keep
# 这里需要重新调整权重矩阵的维度
# 实际工程中需要更复杂的实现
return model
注意： 结构化剪枝虽然效果好，但实现起来比非结构化复杂得多。你需要修改模型的结构定义，不能像非结构化那样直接置零了事。我建议先用非结构化剪枝做快速验证，确定剪枝比例后，再用结构化剪枝做最终部署。
4.3 两种策略的对比与选择
| 对比维度 | 非结构化剪枝 | 结构化剪枝 |
|---|---|---|
| 剪枝粒度 | 单个权重 | 注意力头/神经元/层 |
| 精度保持 | 较好（细粒度调整） | 一般（粗粒度，可能掉点较多） |
| 推理加速 | 不明显（需稀疏计算库） | 明显（直接减少计算量） |
| 硬件适配 | 差（GPU/CPU不支持） | 好（标准矩阵运算） |
| 实现难度 | 简单 | 复杂（需改模型结构） |
| 适用场景 | 学术研究、精度敏感场景 | 工业部署、边缘端推理 |
我个人建议：风电运维场景下，优先选择结构化剪枝。因为我们的目标是部署到边缘端，推理速度是硬指标。精度掉一点可以接受，但推理延迟必须降下来。
4.4 知识体系：剪枝策略选择流程
下面这张图是我自己总结的剪枝策略选择流程，帮你快速决策：
4.5 避坑指南与实战经验
做剪枝时，有几个坑我踩过，分享给你：
避坑1： 剪枝后一定要做微调（Fine-tuning）。我曾经试过剪完直接部署，精度掉了5%。后来加了3个epoch的微调，精度就回来了。剪枝只是「瘦身」，微调才是「复健」。
避坑2： 注意力头的重要性不是均匀分布的。我在风电时序预测模型上发现，前几层的注意力头重要性普遍高于后几层。所以不要均匀剪枝，要按重要性排序来剪。
避坑3： 层剪枝要谨慎。Transformer的层与层之间有残差连接，剪掉一层可能会破坏整个信息流。我建议层剪枝的比例不要超过20%，除非你的模型特别深（比如24层以上）。
嗯，关于剪枝策略，今天就聊这么多。结构化剪枝和非结构化剪枝各有各的用武之地。在风电运维这个场景下，我个人更偏向结构化剪枝，因为它能实实在在地提升推理速度，而且部署起来省心。
你可以在自己的模型上试试，先跑一个非结构化剪枝看看精度变化，再决定要不要上结构化剪枝。毕竟，实践出真知嘛。
公众号:蓝海资料掘金营，微信deep3321