3. 模型轻量化（上）：知识蒸馏的原理与实战
如何训练一个“小老师”模型
知识蒸馏这个概念，我第一次接触是在做智能音箱的唤醒词识别时。那时候模型要跑在Cortex-M4上，Flash只有512KB，RAM更是可怜巴巴的128KB。直接上大模型？想都别想。但小模型精度又不够，用户喊三遍“小爱同学”才醒一次，那产品基本就废了。
后来我试了知识蒸馏，效果出乎意料。说白了，就是让一个大模型（老师）去教一个小模型（学生）。老师虽然跑不动，但它知道的知识可以“提炼”出来，喂给学生。
核心思想： 老师模型输出的是“软标签”，而不是硬生生的0或1。软标签里包含了类别之间的相似性信息。比如一张图片，老师可能认为它有70%像猫，20%像狗，10%像兔子。这种信息比单纯的“这是猫”要丰富得多。
为什么需要“小老师”？
你可能会问：直接用大模型当老师不行吗？嗯，理论上可以。但实际项目中，大模型往往太大，推理一次都费劲。更别提在训练时反复调用了。
我遇到过这样一个场景：在智能门锁上做人脸识别。大模型是ResNet-152，参数量6000万。每次蒸馏迭代都要跑一次前向传播，训练一个epoch要三天。这谁受得了？
所以，我们通常先训练一个“小老师”模型。它比学生大，但比原始大模型小得多。比如用ResNet-50当老师，教MobileNetV2当学生。这样训练时间从三天缩短到半天，精度损失却不到1%。
我的经验： 小老师的参数量一般是学生的3-5倍。太小了教不好，太大了训练慢。这个比例是我在多个项目里试出来的，你可以作为起点。
知识蒸馏的数学原理
蒸馏的核心在于损失函数。它由两部分组成：
- 硬损失（Hard Loss）： 学生模型输出与真实标签之间的交叉熵。这部分保证学生能学到正确的分类。
- 软损失（Soft Loss）： 学生模型输出与老师模型输出之间的KL散度。这部分让学生模仿老师的“思考方式”。
总损失 = α × 硬损失 + (1 - α) × 软损失
这里的α是一个超参数，我一般设0.7。为什么？因为硬损失更重要，但软损失能提供额外的信息。你想想看，如果α=1，那就退化成普通训练了，蒸馏就没意义了。
还有一个关键参数叫“温度”（Temperature, T）。它控制软标签的平滑程度。T越大，软标签越平滑，类别间的差异越小。T越小，软标签越接近硬标签。
| 温度 T | 效果 | 适用场景 |
|---|---|---|
| T=1 | 软标签接近原始概率 | 一般情况 |
| T=2~5 | 软标签更平滑，信息更丰富 | 类别间相似度高时 |
| T=10+ | 软标签几乎均匀分布 | 极少使用，信息稀释严重 |
注意： 温度不是越高越好。我曾经在CIFAR-10上试过T=20，结果学生模型精度反而下降了。因为软标签太均匀，学生学不到有用的信息。一般T=3~5是个安全区间。
实战：训练一个小老师模型
好，理论讲完了，咱们直接上代码。这里我用PyTorch实现一个简单的蒸馏训练流程。
首先，定义老师和学生模型。老师用ResNet-18，学生用MobileNetV2。
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import models, datasets, transforms
# 加载预训练的老师模型
teacher = models.resnet18(pretrained=True)
teacher.eval() # 老师只用于推理，不训练
# 定义学生模型
student = models.mobilenet_v2(pretrained=False)
student.classifier[1] = nn.Linear(1280, 10) # 假设是10分类任务接下来，定义蒸馏损失函数。注意，这里要对logits做温度缩放。
def distillation_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7):
# 软损失：KL散度
soft_loss = nn.KLDivLoss(reduction='batchmean')(
nn.functional.log_softmax(student_logits / T, dim=1),
nn.functional.softmax(teacher_logits / T, dim=1)
) * (T * T) # 乘以T^2是为了保持梯度尺度
# 硬损失：交叉熵
hard_loss = nn.CrossEntropyLoss()(student_logits, labels)
return alpha * hard_loss + (1 - alpha) * soft_loss然后，训练循环。这里我只展示核心部分。
optimizer = optim.Adam(student.parameters(), lr=1e-3)
train_loader = ... # 你的数据加载器
for epoch in range(30):
for images, labels in train_loader:
optimizer.zero_grad()
# 老师推理（不计算梯度）
with torch.no_grad():
teacher_logits = teacher(images)
# 学生推理
student_logits = student(images)
# 计算蒸馏损失
loss = distillation_loss(student_logits, teacher_logits, labels)
loss.backward()
optimizer.step()
print(f'Epoch {epoch+1}, Loss: {loss.item():.4f}')避坑指南： 我曾经犯过一个错误——忘了给老师模型加torch.no_grad()。结果显存直接爆了，因为PyTorch默认会追踪所有梯度。记住，老师模型只做前向推理，不参与反向传播。
训练小老师的技巧
在实际项目中，我总结了几条经验：
- 先训老师，再训学生。 老师模型必须提前训练好，并且精度要足够高。如果老师自己都学不好，那教出来的学生肯定更差。
- 温度要逐步降低。 我习惯在训练初期用较高的温度（T=5），让学生多学一些类别间的相似性。后期降到T=2，让学生更关注硬标签。这叫“温度退火”。
- 数据增强要一致。 老师和学生看到的数据增强方式必须相同。否则老师教的东西和学生看到的不匹配，蒸馏效果会大打折扣。
- 小老师不一定非得是同类模型。 我用过Transformer当老师，教CNN学生。只要输出维度一致，跨架构蒸馏完全可行。
一个真实案例： 在智能门锁项目中，我用ResNet-50当小老师，教MobileNetV3。最终学生模型在Flash上只占1.2MB，推理时间15ms，精度只比老师低2.3%。而直接训练MobileNetV3，精度低了5.8%。这就是蒸馏的价值。
什么时候不适合用蒸馏？
说实话，蒸馏不是万能的。我遇到过几种情况，效果很差：
- 老师模型过拟合严重。 老师学到的都是训练集的噪声，教给学生只会更糟。
- 学生模型容量太小。 比如老师是ResNet-152，学生是只有两层卷积的微型网络。学生根本学不了那么复杂的知识。
- 任务本身很简单。 比如二分类任务，软标签提供的信息有限，蒸馏带来的提升微乎其微。
嗯，这些坑我都踩过。所以我的建议是：先跑一个小实验，看看蒸馏有没有效果。如果精度提升不到1%，那就不值得花时间。
好了，这一章就到这里。下一章我们会讲模型量化的实战技巧，包括INT8量化、混合精度量化，以及如何在STM32上跑量化模型。到时候见。