4. 模型轻量化技术（上）：模型剪枝、权重量化与知识蒸馏
各位同学，今天我们来聊聊边缘AI部署中最头疼的问题——模型太大，跑不动。
你想想看，一个ResNet-152在服务器上跑得飞起，但放到树莓派或者手机端，直接卡成PPT。怎么办？
我个人习惯把模型轻量化比作「减肥」。人有三种减肥方式：抽脂（剪枝）、压缩脂肪密度（量化）、跟瘦子学（蒸馏）。今天我们就把这三种方法掰开揉碎了讲。
4.1 模型剪枝：把冗余的「脂肪」切掉
模型剪枝，说白了就是去掉那些不重要的参数。神经网络里有很多权重其实接近于0，留着它们只会浪费算力。
4.1.1 非结构化剪枝
非结构化剪枝是最直接的方式——把绝对值小于某个阈值的权重直接置为0。
我在项目中遇到过一个问题：非结构化剪枝后模型体积确实小了，但权重矩阵变得稀疏无比。稀疏矩阵在通用硬件上反而更慢，因为你需要额外的索引来记录哪些位置是0。
核心思路： 逐个权重判断，小的就干掉。
# 伪代码示例：非结构化剪枝
def unstructured_prune(model, threshold=0.01):
for param in model.parameters():
mask = torch.abs(param) > threshold
param.data *= mask # 小于阈值的置0
return model嗯，这里要注意：非结构化剪枝后的模型，如果不做特殊优化，实际推理速度可能不降反升。为什么？因为硬件做密集矩阵乘法是最快的，稀疏矩阵反而要跳来跳去。
4.1.2 结构化剪枝
结构化剪枝就聪明多了——它直接干掉整个通道（channel）或者整个卷积核。
我曾经在部署MobileNetV3时试过非结构化剪枝，效果很差。后来换成结构化剪枝，直接剪掉30%的通道，精度只掉了0.5%，推理速度却快了1.8倍。
我的经验： 结构化剪枝更适合硬件部署。因为它保持矩阵的规整性，CPU、GPU、NPU都能高效执行。
# 结构化剪枝示例：按通道重要性剪枝
def structured_prune(model, prune_ratio=0.3):
# 计算每个通道的L1范数作为重要性指标
for name, module in model.named_modules():
if isinstance(module, nn.Conv2d):
importance = torch.norm(module.weight, p=1, dim=(1,2,3))
threshold = torch.quantile(importance, prune_ratio)
keep_idx = torch.where(importance > threshold)[0]
# 保留重要通道
module.weight.data = module.weight.data[keep_idx]
module.bias.data = module.bias.data[keep_idx] if module.bias is not None else None
return model避坑指南： 我曾经一次性剪掉50%的通道，结果模型直接崩了。建议采用「剪枝-微调」的迭代策略，每次剪5%-10%，然后微调几个epoch，再继续剪。这样精度损失可控。
4.2 权重量化：用更少的比特表示参数
量化，说白了就是把模型从「高精度浮点」变成「低精度整数」。FP32的模型占4字节，INT8只占1字节，INT4更狠，半个字节。
4.2.1 INT8量化
INT8量化是目前最成熟、应用最广的方案。它的原理很简单：找到权重和激活值的最大值和最小值，然后映射到-128到127的整数范围。
我记得第一次在RK3588上部署INT8模型时，精度只掉了不到1%，但推理速度提升了3倍。这个性价比，真的很高。
# INT8量化原理示意
def quantize_to_int8(tensor):
# 找到动态范围
min_val = tensor.min()
max_val = tensor.max()
# 计算缩放因子
scale = (max_val - min_val) / 255.0
zero_point = -min_val / scale
# 量化
quantized = torch.round(tensor / scale + zero_point)
quantized = torch.clamp(quantized, -128, 127)
return quantized.to(torch.int8), scale, zero_point关键点： 量化不是简单的截断，而是带缩放因子的线性映射。推理时需要用scale和zero_point反量化回来计算。
4.2.2 INT4量化
INT4量化就激进多了。每个参数只占4比特，模型体积直接减半。但代价是精度损失更大。
我在做语音唤醒模型时试过INT4量化，精度从98%掉到了94%。对于唤醒词来说还能接受，但如果是自动驾驶的目标检测，这个精度损失就致命了。
我的建议： INT4量化适合对精度要求不那么苛刻的场景，比如语音识别、简单的分类任务。对于高精度要求的任务，建议先用INT8，实在不行再考虑INT4。
| 量化类型 | 比特数 | 模型压缩比 | 典型精度损失 | 适用场景 |
|---|---|---|---|---|
| FP32 | 32 | 1x | 0% | 服务器训练 |
| INT8 | 8 | 4x | 0.5%-2% | 边缘部署首选 |
| INT4 | 4 | 8x | 2%-5% | 低精度容忍场景 |
4.3 知识蒸馏：让学生模型向老师学习
知识蒸馏的思路很有意思——你不是要小模型吗？那就让大模型当老师，教小模型怎么学。
为什么直接训练小模型效果不好？因为小模型的容量有限，很难直接从原始数据中学到复杂的特征分布。但如果有大模型「带路」，小模型就能学到更丰富的知识。
4.3.1 软标签与温度参数
知识蒸馏的核心是「软标签」。普通训练用的是硬标签（猫就是猫，狗就是狗），但蒸馏用的是软标签——比如「这只动物80%像猫，15%像狗，5%像兔子」。
软标签里包含了类别之间的相似性信息，这是硬标签给不了的。
# 知识蒸馏损失函数示意
def distillation_loss(student_logits, teacher_logits, labels, temperature=4.0):
# 软标签损失：学生和老师的分布差异
soft_teacher = F.softmax(teacher_logits / temperature, dim=1)
soft_student = F.softmax(student_logits / temperature, dim=1)
soft_loss = KL_divergence(soft_student, soft_teacher)
# 硬标签损失：学生和真实标签的差异
hard_loss = CrossEntropyLoss(student_logits, labels)
# 加权组合
alpha = 0.7 # 软标签权重
return alpha * soft_loss + (1 - alpha) * hard_loss温度参数T的作用： T越大，软标签越平滑，类别间的细微关系越明显。T越小，软标签越接近硬标签。我一般从T=4开始调。
4.3.2 实践中的坑
我曾经在部署一个OCR模型时用了知识蒸馏。老师模型是ResNet-50，学生模型是MobileNetV3。结果蒸馏后的MobileNetV3精度比直接训练高了3.2%，但推理速度只慢了10%。这个交易，很划算。
避坑指南： 我曾经犯过一个错误——老师模型和学生模型的结构差异太大。比如用ViT去蒸馏一个简单的CNN，效果反而不好。建议老师和学生的架构尽量相似，至少特征提取的层次要对齐。
4.4 三种技术的组合策略
在实际项目中，这三种技术往往是组合使用的。我个人习惯的顺序是：
- 先剪枝：去掉冗余参数，减少模型体积
- 再量化：把剩下的参数从FP32降到INT8
- 最后蒸馏：用原始大模型做教师，微调量化后的模型
你想想看，剪枝去掉了30%的参数，量化又压缩了4倍，蒸馏再补回一些精度。三管齐下，模型体积能缩小10倍以上，精度损失控制在1%以内。
我的经验： 不要一次性把所有技术都用上。先单独试每种技术，找到最优参数，再组合。否则出了问题你都不知道是哪个环节导致的。
好了，模型轻量化的上半部分就讲到这里。下一节我们会深入讲量化的具体实现细节，包括校准数据集的选择、量化感知训练等实战内容。到时候我会拿一个完整的项目案例来演示。