📘 模型蒸馏实战指南
30章 · 从入门到部署
📌 共30个章节
点击卡片跳转对应课程文件
🧪 友好色系
01
蒸馏技术概述
什么是模型蒸馏
动机与价值
与剪枝/量化对比
02
知识蒸馏核心原理
教师-学生网络
软标签与硬标签
温度系数T
03
蒸馏损失函数设计
KL散度损失
MSE损失
加权融合策略
04
离线蒸馏实战
教师模型预训练
学生架构选择
蒸馏训练流程
05
在线蒸馏实战
双模型协同训练
互学习机制
收敛技巧
06
自蒸馏方法
自蒸馏原理
Noisy Student
在CV中的应用
07
特征层蒸馏
FitNets方法
注意力迁移
特征图对齐
08
关系蒸馏
样本间关系保持
图结构蒸馏
对比学习蒸馏
09
跨模态蒸馏
视觉-语言蒸馏
CLIP蒸馏
多模态对齐
10
目标检测蒸馏
分类/回归头蒸馏
FGD方法
GIoU损失蒸馏
11
NLP模型蒸馏
BERT蒸馏
DistilBERT
TinyBERT实战
12
生成式模型蒸馏
GPT系列蒸馏
扩散模型蒸馏
序列级蒸馏
13
推荐系统蒸馏
双塔模型蒸馏
召回/排序应用
知识蒸馏
14
图神经网络蒸馏
GNN蒸馏方法
节点/图级蒸馏
学生架构
15
强化学习蒸馏
策略蒸馏
价值函数蒸馏
模仿学习结合
16
蒸馏中的正则化技术
标签平滑
数据增强
Dropout应用
17
学生网络架构搜索
NAS与蒸馏结合
自动搜索学生
计算约束设计
18
蒸馏训练加速
混合精度训练
梯度累积
分布式蒸馏
19
量化感知蒸馏
QAT与蒸馏结合
量化噪声模拟
混合精度蒸馏
20
蒸馏部署实战
ONNX导出
TensorRT优化
移动端部署
21
蒸馏评估指标
准确率与效率
FLOPs/参数量
消融实验设计
22
蒸馏工具与框架
TextBrewer
MMRazor
Distiller
23
蒸馏中的过拟合问题
学生过拟合现象
缓解策略
早停法
24
多教师蒸馏
多教师集成
知识融合策略
置信度加权
25
渐进式蒸馏
阶段式蒸馏
课程学习策略
放松教师约束
26
蒸馏在联邦学习中的应用
联邦蒸馏
数据隐私保护
通信效率优化
27
蒸馏在边缘计算中的应用
模型轻量化
端侧推理
实时性优化
28
蒸馏最新研究进展
2024-2025顶会
DKD方法
NKD方法
29
实战项目一：图像分类压缩
ResNet50→MobileNetV3
蒸馏流程
性能对比
30
实战项目二：BERT→TinyBERT
GLUE基准测试
蒸馏脚本
精度-效率权衡