1、蒸馏技术概述：什么是模型蒸馏、蒸馏的动机与价值、蒸馏与剪枝/量化的对比
1.1 什么是模型蒸馏？
模型蒸馏，说白了就是「大模型教小模型」。
我刚开始接触这个概念时，觉得这名字挺玄乎。后来发现，它跟老师教学生是一个道理。你有一个性能强悍的大模型（老师），它知道的东西很多，但跑起来太慢、太占资源。你想让一个小模型（学生）学会老师的大部分本领，但又不能直接拿原始数据去训练——因为小模型学不会那么复杂的模式。
那怎么办？让老师「讲」给学生听。
具体做法是：用大模型在训练数据上生成软标签（soft labels），也就是每个类别的概率分布，而不是只给一个硬标签（hard label）。比如识别一张图片，硬标签是「猫」，软标签可能是「猫0.85、狗0.10、兔子0.03、其他0.02」。这个分布里藏着老师对数据的理解——它知道猫和狗有点像，但猫和兔子差得远。
小模型在学习时，不仅要拟合真实标签，还要拟合老师的软标签。这样，小模型就能学到老师「举一反三」的能力。
核心公式（简化版）：
Loss = α * 交叉熵(学生输出, 真实标签)
+ (1-α) * 交叉熵(学生输出, 老师软标签) * T²其中 T 是温度系数，控制软标签的平滑程度。T 越大，分布越平滑，小模型能学到更多「暗知识」。
嗯，这里要注意：温度 T 不是随便调的。我刚开始做蒸馏时，T 设得太高，软标签几乎变成均匀分布，学生啥也学不到。后来我习惯从 T=3 开始试，效果一般不错。
1.2 蒸馏的动机与价值
为什么要费劲做蒸馏？直接训练一个小模型不行吗？
你想想看，小模型参数少，容量有限。如果直接拿原始数据训练，它很容易陷入局部最优，学不到数据中的复杂模式。但大模型已经把这些模式「消化」好了，它输出的软标签相当于给数据做了一次特征重编码——把高维的、模糊的知识压缩成了更易学习的形式。
我在项目中遇到过这样一个场景：一个 200M 参数的 BERT 模型做文本分类，准确率 94%。但部署到移动端，模型太大，推理延迟 800ms。我们尝试直接训练一个 20M 的小 BERT，准确率只有 87%。后来用蒸馏，小模型准确率提到了 92%。
蒸馏的价值，我总结为三点：
- 知识迁移：把大模型的「暗知识」传给小模型，提升小模型的上限
- 部署友好：小模型推理速度快、内存占用低，适合边缘设备
- 数据高效：有时候你甚至不需要原始训练数据，只用老师生成的软标签就能训练学生（这叫无数据蒸馏）
避坑指南：我曾经在一个项目里，老师模型本身就有过拟合问题。结果蒸馏出来的学生模型也跟着学歪了。记住：老师不好，学生更差。蒸馏前一定要先确保老师模型的质量。
1.3 蒸馏与剪枝/量化的对比
很多同学会问：蒸馏、剪枝、量化，到底选哪个？
我的回答是：它们不是互斥的，而是互补的。但各自适用的场景不同。
| 方法 | 原理 | 优点 | 缺点 | 典型场景 |
|---|---|---|---|---|
| 蒸馏 | 大模型教小模型 | 可大幅缩小模型体积，保留高精度 | 需要额外训练过程，依赖老师模型 | 从 BERT 到 TinyBERT，从 ResNet 到 MobileNet |
| 剪枝 | 去掉不重要的权重或神经元 | 直接减少参数量，推理加速明显 | 过度剪枝会导致精度骤降，需要重训练 | 模型过大但精度有余的场景 |
| 量化 | 将 FP32 权重转为 INT8 或更低精度 | 推理速度提升 2-4 倍，几乎不改变模型结构 | 精度损失不可控，对硬件有要求 | 移动端、嵌入式设备部署 |
我个人习惯的做法是：先蒸馏，再量化。蒸馏把模型变小，量化把计算变快。两个结合，效果往往 1+1>2。
举个例子：我做过一个图像分类模型，原始 ResNet-50 是 25M 参数，FP32 推理 50ms。先蒸馏到 ResNet-18（11M 参数），精度从 92.3% 降到 91.8%，损失很小。然后做 INT8 量化，推理时间降到 12ms，精度 91.5%。整体压缩了 2 倍体积，加速 4 倍，精度只掉了 0.8%。
剪枝的话，我一般放在蒸馏之后。因为蒸馏已经让模型更紧凑了，剪枝可以进一步去掉冗余。但要注意：剪枝对结构化模型（比如 CNN 的通道）效果更好，对 Transformer 这类非结构化模型，剪枝收益有限。
重要提醒：不要盲目追求极致压缩。我曾经在一个语音识别项目里，把模型从 100M 压到 5M，精度掉了 15%，完全不可用。压缩比和精度之间有个平衡点，需要根据业务场景来定。一般来说，压缩比控制在 4-8 倍比较安全。
1.4 什么时候该用蒸馏？
我总结了几条经验：
- 你有现成的大模型：比如公司已经训练好了一个大模型，你想部署到端侧。蒸馏是最直接的选择。
- 小模型训练不收敛：直接训练小模型效果差，用蒸馏可以「借力」。
- 数据量不足：蒸馏可以用老师生成的软标签做数据增强，缓解数据稀缺问题。
- 需要多任务学习：老师模型可以同时输出多个任务的软标签，学生一次性学会多个任务。
反过来，如果小模型直接训练效果已经很好，或者你根本没有大模型，那蒸馏的意义就不大。这时候剪枝或量化可能更合适。
好了，这一章就聊到这儿。下一章我会详细讲蒸馏的数学原理和温度系数的调参技巧，到时候我会分享一些我在实际项目中踩过的坑。