4. 模型轻量化技术：模型剪枝、权重量化与知识蒸馏
各位同学，咱们今天聊点实在的。模型轻量化，说白了就是给神经网络“减肥”。你想想看，一个几百兆的模型跑在边缘设备上，功耗和延迟都扛不住。我这些年做嵌入式AI，踩过的坑不少，但最深的体会就是：轻量化不是可选项，而是必选项。
这一章，我带你过三个核心技术：模型剪枝、权重量化、知识蒸馏。每个技术我都用实际项目经验给你讲透。
4.1 模型剪枝：砍掉冗余连接
模型剪枝，顾名思义，就是把神经网络里不重要的连接或者神经元砍掉。为什么要砍？因为很多参数对最终结果贡献极小，留着纯粹浪费算力。
4.1.1 非结构化剪枝
非结构化剪枝，是细粒度地砍掉单个权重。比如一个卷积核有3x3=9个参数，我砍掉其中3个接近0的，剩下的6个保留。
优点：压缩率高，理论上可以砍掉90%以上的参数而不明显掉精度。
缺点：稀疏矩阵在通用硬件上加速效果有限。说白了，你得有专门的稀疏计算库才能吃到红利。
我个人的习惯：非结构化剪枝适合在GPU上做实验验证，但部署到ARM或RISC-V平台时，我一般不用它。因为稀疏矩阵的访存模式太随机了，缓存命中率低得可怜。
# 非结构化剪枝示例（PyTorch）
import torch.nn.utils.prune as prune
# 对卷积层做L1范数剪枝，砍掉20%的权重
prune.l1_unstructured(module.conv1, name='weight', amount=0.2)
# 剪枝后权重变成稀疏的，但形状不变
print(module.conv1.weight) # 很多元素为04.1.2 结构化剪枝
结构化剪枝，是整块整块地砍。比如砍掉整个卷积核、整个通道，甚至整个层。这种方式对硬件更友好，因为砍完后模型结构还是规整的。
我在项目中遇到过：有一次做智能门锁的人脸识别，模型有32个通道。我用结构化剪枝砍掉了一半通道，推理速度提升了1.8倍，精度只掉了0.3%。嗯，这个性价比很高。
避坑指南：结构化剪枝的粒度越大，精度损失也越大。我建议从20%的剪枝率开始，逐步增加，每次剪完都做微调（fine-tune）。
# 结构化剪枝示例：按通道剪枝
# 计算每个通道的L2范数，砍掉最小的几个通道
def channel_prune(conv_layer, prune_ratio=0.3):
# 获取卷积核权重 [out_channels, in_channels, k, k]
weight = conv_layer.weight.data
# 计算每个输出通道的L2范数
norms = torch.norm(weight.view(weight.size(0), -1), dim=1)
# 找到要保留的通道索引
_, idx = torch.sort(norms)
keep_idx = idx[int(prune_ratio * len(idx)):]
# 保留这些通道
conv_layer.weight.data = weight[keep_idx]
conv_layer.out_channels = len(keep_idx)
return conv_layer4.2 权重量化：用更少的比特表示
量化，就是把模型参数从32位浮点数（FP32）压缩到更低位宽，比如INT8或FP16。你想想看，FP32转INT8，模型体积直接缩小4倍，推理速度也能翻倍。
4.2.1 INT8量化
INT8量化是目前边缘设备上最主流的方案。它把浮点数映射到[-128, 127]的整数范围。映射方式有两种：
| 量化方式 | 原理 | 适用场景 |
|---|---|---|
| 对称量化 | 将浮点范围对称映射到整数范围，0点对齐 | 权重分布对称时效果好（如经过BN的层） |
| 非对称量化 | 根据实际最小/最大值映射，0点不一定对齐 | 激活值分布偏斜时效果好（如ReLU后的输出） |
我曾经在STM32上部署一个手势识别模型，用INT8量化后，模型从4.2MB降到1.1MB，推理时间从120ms降到45ms。但要注意，量化后的精度损失通常在1%以内，如果超过这个数，说明你的模型对量化不够鲁棒。
警告：INT8量化最怕“离群点”。如果某个权重特别大或特别小，会压缩整个量化范围，导致精度暴跌。我建议量化前先做权重裁剪（weight clipping），把极端值拉回来。
# INT8量化示例（使用TensorRT或ONNX Runtime）
import onnx
from onnxruntime.quantization import quantize_dynamic, QuantType
# 动态量化：不需要校准数据集，直接量化权重
quantized_model = quantize_dynamic(
'model.onnx',
'model_int8.onnx',
weight_type=QuantType.QInt8
)
# 静态量化需要校准数据集，精度更高
# 但需要准备几百张图片做校准4.2.2 FP16量化
FP16量化比INT8更温和。它用16位浮点数代替32位，精度损失几乎可以忽略，但模型体积减半。很多移动端GPU（如高通Adreno）原生支持FP16计算，速度提升明显。
我个人建议：如果你的设备支持FP16（比如NVIDIA Jetson系列），优先用FP16。它不需要校准数据集，部署起来最省心。INT8虽然压缩率更高，但调参过程比较折腾。
4.3 知识蒸馏：大模型教小模型
知识蒸馏，说白了就是让一个大模型（教师网络）教一个小模型（学生网络）。学生网络不直接学习原始数据，而是学习教师网络的输出分布。
为什么这样有效？因为教师网络的输出包含了“软标签”——比如分类任务中，教师网络不仅告诉你“这是猫”，还告诉你“它有点像狗，但更像猫”。这些软信息比硬标签（one-hot）丰富得多。
4.3.1 蒸馏的损失函数
知识蒸馏的损失函数由两部分组成：
- 硬损失：学生网络输出与真实标签的交叉熵
- 软损失：学生网络输出与教师网络输出的KL散度
软损失中有一个关键参数——温度T。T越高，输出的概率分布越平滑，软信息越丰富。我一般把T设在3-5之间。
# 知识蒸馏训练示例
def distillation_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7):
# 软损失：学生和教师的KL散度
soft_loss = nn.KLDivLoss()(
F.log_softmax(student_logits / T, dim=1),
F.softmax(teacher_logits / T, dim=1)
) * (T * T) # 温度缩放补偿
# 硬损失：学生和真实标签的交叉熵
hard_loss = nn.CrossEntropyLoss()(student_logits, labels)
# 加权组合
return alpha * soft_loss + (1 - alpha) * hard_loss我在项目中遇到过：有一次做语音唤醒词检测，教师模型有5M参数，学生模型只有0.5M。直接用学生模型训练，准确率只有88%。用知识蒸馏后，准确率提升到94%，接近教师模型的96%。你看，小模型也能有大智慧。
4.3.2 蒸馏的实战技巧
- 教师模型要足够强：如果教师模型本身精度不高，蒸馏出来的学生也不会好。我建议教师模型的精度至少比目标高5%以上。
- 学生模型不能太小：学生模型容量太小时，学不到教师模型的精髓。我一般保持学生模型参数量在教师模型的1/5到1/10之间。
- 先训练教师，再蒸馏学生：不要同时训练，否则学生容易“学歪”。
避坑指南：蒸馏时，软损失的权重alpha不要设太高。我见过有人设0.9，结果学生模型完全模仿教师，忽略了真实标签，反而过拟合了。我一般从0.7开始调。
4.4 三种技术的组合使用
在实际项目中，我很少只用一种技术。通常的组合策略是：
- 先剪枝：用结构化剪枝砍掉30%-50%的通道，减少模型体积。
- 再蒸馏：用原始大模型作为教师，对剪枝后的模型做知识蒸馏，恢复精度。
- 最后量化：将蒸馏后的模型量化到INT8，进一步压缩。
这个流程我用了很多次，效果很稳定。举个例子：一个10MB的模型，经过剪枝+蒸馏+量化后，可以压缩到1.5MB，推理速度提升5倍，精度只下降1%左右。
注意：量化最好放在最后一步。因为剪枝和蒸馏都会改变权重分布，先量化再剪枝会导致精度损失叠加，很难调回来。
好了，这一章的内容就到这里。模型轻量化是个系统工程，没有银弹。你需要根据具体的硬件平台和任务需求，灵活组合这三种技术。下一章，我会讲如何用这些技术做一个完整的端到端部署案例，到时候咱们再细聊。