Transformer 模型剪枝与加速 · 实战课程目录

01

课程导论剪枝核心

Transformer为什么需要剪枝？加速概念、学习路径

02

Transformer基础回顾注意力

多头注意力、前馈网络、层归一化与残差连接

03

模型剪枝基础分类/粒度

结构化/非结构化剪枝、剪枝粒度与流程

04

非结构化剪枝权重掩码

权重剪枝、阈值设定、掩码矩阵、稀疏存储

05

结构化剪枝头/层/通道

神经元、注意力头、层剪枝、通道剪枝

06

剪枝标准重要性得分

幅度/梯度/重要性得分/L1&L2范数剪枝

07

训练后剪枝 One-shot

One-shot、迭代剪枝、微调策略

08

训练时剪枝稀疏训练

稀疏训练、动态剪枝、LASSO正则化

09

注意力头剪枝实战头重要性

计算头重要性、剪枝实现、性能评估

10

层剪枝实战层冗余

层冗余分析、丢弃策略、层蒸馏结合

11

模型量化基础 INT8/FP16

对称/非对称量化、逐层/逐通道、精度

12

训练后量化 PTQ 校准

校准数据集、KL散度、量化误差分析

13

量化感知训练 QAT 伪量化

伪量化节点、直通估计器STE、微调

14

混合精度训练 AMP

FP16/BF16、损失缩放、NVIDIA AMP

15

知识蒸馏基础教师-学生

软/硬标签、温度系数、蒸馏损失

16

蒸馏策略 Logit/特征

Logit蒸馏、特征蒸馏、关系蒸馏、自蒸馏

17

剪枝+量化联合优化协同

协同效应、联合训练、部署案例

18

剪枝+蒸馏联合优化联合框架

先剪后蒸、先蒸后剪、联合训练

19

模型加速框架 ONNX/TensorRT

ONNX Runtime、TensorRT、OpenVINO、TFLite

20

ONNX模型转换与优化图优化

PyTorch转ONNX、图优化、动态形状

21

TensorRT部署实战层融合

模型解析、精度校准、动态批处理

22

CPU加速技术 MKL-DNN

INT8推理、算子融合、内存优化

23

GPU加速技术 CUDA

CUDA内核、算子融合、多流并行

24

边缘设备部署 TFLite/NNAPI

TFLite转换、CoreML、模型压缩打包

25

模型压缩评估指标延迟/吞吐

模型大小、推理延迟、吞吐量、能耗

26

剪枝工具与库 NNI/Intel

PyTorch Pruning、NNI、TensorFlow Model Optimization

27

实战项目1：BERT剪枝量化文本分类

BERT模型剪枝+量化，文本分类任务

28

实战项目2：ViT剪枝加速图像分类

ViT模型剪枝与加速，图像分类任务

29

实战项目3：GPT蒸馏部署文本生成

GPT模型蒸馏与部署，文本生成任务

30

课程总结与进阶方向 AutoML

最新趋势、AutoML剪枝、硬件感知优化