4、结构化剪枝实战：通道剪枝、滤波器剪枝与层剪枝

各位同学，今天咱们来聊聊结构化剪枝的实战。说实话，我在做模型部署的时候，最头疼的就是模型太大、跑不动。非结构化剪枝虽然精度高，但稀疏矩阵在硬件上加速效果有限。所以，结构化剪枝才是工业界的宠儿。

结构化剪枝，说白了就是直接砍掉整个通道、滤波器或者层。这样剪完后的模型，结构规整，硬件友好。我习惯把这类方法分成三种：基于BN层gamma值的通道剪枝、基于L1范数的滤波器剪枝，以及基于重要性评分的层剪枝。下面咱们一个一个来拆解。

4.1 通道剪枝：基于BN层gamma值

通道剪枝是我个人最常用的方法。为什么？因为它简单、有效，而且有理论支撑。

BN层（Batch Normalization）里有个参数叫gamma（缩放因子）。训练过程中，gamma值会学习到每个通道的重要性。如果某个通道的gamma值接近0，说明这个通道对后续输出几乎没贡献。嗯，那就可以直接砍掉。

具体实现分三步：

1. 稀疏化训练：在损失函数中加入gamma的L1正则项，让gamma值稀疏化。
2. 设定阈值：统计所有gamma值，设定一个剪枝比例（比如剪掉30%的通道）。
3. 物理剪枝：将gamma值低于阈值的通道从网络中移除，生成新的小模型。

# 伪代码示例：基于BN gamma的通道剪枝
import torch
import torch.nn as nn

def prune_channels_by_gamma(model, prune_ratio=0.3):
    # 收集所有BN层的gamma值
    gamma_list = []
    for module in model.modules():
        if isinstance(module, nn.BatchNorm2d):
            gamma_list.extend(module.weight.data.abs().cpu().numpy())
    
    # 计算阈值
    threshold = np.percentile(gamma_list, prune_ratio * 100)
    
    # 对每个BN层进行剪枝
    for name, module in model.named_modules():
        if isinstance(module, nn.BatchNorm2d):
            mask = module.weight.data.abs() > threshold
            # 保留mask为True的通道
            # ... 实际剪枝逻辑略
    return model

4.2 滤波器剪枝：基于L1范数

滤波器剪枝和通道剪枝有点像，但角度不同。通道剪枝看的是BN层的gamma，而滤波器剪枝直接看卷积核本身。

我常用的方法是计算每个滤波器的L1范数（即所有权重绝对值之和）。L1范数小的滤波器，说明它学到的特征比较弱，对输出的贡献小。砍掉它，对精度影响最小。

你想想看，一个滤波器如果权重都接近0，它提取的特征能有多重要？

# 滤波器L1范数计算示例
def compute_filter_l1_norm(conv_layer):
    # conv_layer.weight.shape: [out_channels, in_channels, k_h, k_w]
    l1_norm = torch.sum(torch.abs(conv_layer.weight.data), dim=[1, 2, 3])
    return l1_norm

# 按L1范数排序，剪掉最小的k个滤波器
def prune_filters_by_l1(conv_layer, prune_ratio=0.3):
    l1_norm = compute_filter_l1_norm(conv_layer)
    num_filters = l1_norm.size(0)
    num_prune = int(num_filters * prune_ratio)
    
    # 找到最小的num_prune个滤波器的索引
    _, indices = torch.topk(l1_norm, num_prune, largest=False)
    return indices  # 这些就是要剪掉的滤波器索引

4.3 层剪枝：基于重要性评分

层剪枝是最激进的结构化剪枝方法。它不是剪通道或滤波器，而是直接剪掉整个网络层。这听起来有点暴力，但在某些场景下非常有效。

怎么判断一层是否重要？我一般用两种方法：

• 基于输出贡献度：计算该层输出对最终loss的梯度，梯度大的层更重要。
• 基于特征图相似度：如果某层的输出和前一层的输出高度相似，说明这层是冗余的。

我个人更倾向于第一种方法。具体做法是：

1. 在验证集上跑一次前向传播，记录每层的输出。
2. 计算每层输出对loss的梯度，作为重要性评分。
3. 按重要性评分排序，剪掉评分最低的层。

# 层重要性评分示例（基于梯度）
def compute_layer_importance(model, dataloader, criterion):
    model.eval()
    importance_scores = {}
    
    # 注册hook来捕获每层的输出
    activations = {}
    def hook_fn(name):
        def hook(module, input, output):
            activations[name] = output
        return hook
    
    for name, module in model.named_modules():
        if isinstance(module, (nn.Conv2d, nn.Linear)):
            module.register_forward_hook(hook_fn(name))
    
    # 计算梯度重要性
    for inputs, targets in dataloader:
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        loss.backward()
        
        for name, module in model.named_modules():
            if isinstance(module, (nn.Conv2d, nn.Linear)):
                # 使用权重的梯度范数作为重要性
                grad_norm = module.weight.grad.norm().item()
                importance_scores[name] = importance_scores.get(name, 0) + grad_norm
    
    return importance_scores

4.4 三种方法的对比

为了让你更直观地理解，我整理了一个对比表格：

方法	剪枝粒度	衡量标准	适用场景	精度影响
通道剪枝	通道级	BN gamma值	有BN层的CNN	低（需微调）
滤波器剪枝	滤波器级	L1范数	任意CNN	中（需微调）
层剪枝	层级	重要性评分	深层网络	高（需重训练）

从表格可以看出，剪枝粒度越粗，对精度的影响越大。所以，我一般会先尝试通道剪枝，如果压缩率不够，再考虑滤波器剪枝。层剪枝是最后的手段。

好了，结构化剪枝的三种方法就讲到这里。记住，没有最好的方法，只有最适合你场景的方法。动手试试吧，代码我都给你了。