轻量级Transformer · 边缘部署实战
📘 30章 · 从入门到部署
v1.0
01
课程导学与边缘AI概述
Transformer为什么需要轻量化？边缘设备的算力现状与选型指南。
导学
02
Transformer核心原理回顾
从Attention到Self-Attention，多头注意力机制详解。
原理
03
轻量化模型设计哲学
参数共享、知识蒸馏、模型剪枝与量化，四板斧怎么用？
心法
04
MobileNet与EfficientNet
CNN轻量化的思路如何启发Transformer？
启发
05
TinyBERT
BERT的小型化之路，层数减少与隐层维度压缩。
压缩
06
MobileBERT
瓶颈层设计与反向残差结构在Transformer中的应用。
结构
07
DistilBERT
知识蒸馏的经典案例，学生模型如何学习教师模型的软标签？
蒸馏
08
ALBERT
参数共享与因式分解，参数量减少但性能不掉。
共享
09
T5-Small与FLAN-T5
Encoder-Decoder架构的轻量化版本。
生成
10
EdgeFormer
专为边缘设备设计的Transformer，自注意力机制的近似计算。
边缘
11
模型剪枝实战
使用Torch-Pruning对ViT进行结构化剪枝。
剪枝
12
量化基础
FP32到INT8，线性量化与对称量化的数学原理。
量化
13
PTQ与QAT
训练后量化与量化感知训练，什么时候用哪个？
策略
14
ONNX Runtime部署
将PyTorch模型导出为ONNX，并在CPU/GPU上推理。
ONNX
15
TensorRT加速
NVIDIA Jetson系列上的INT8推理与动态形状处理。
TensorRT
16
TFLite与MediaPipe
在Android/iOS手机上部署MobileBERT。
移动端
17
CoreML与ANE
在iPhone上利用Apple Neural Engine加速Transformer。
iOS
18
OpenVINO
在Intel CPU/VPU上部署TinyBERT，利用推理优化。
Intel
19
NCNN与TNN
腾讯与阿里巴巴的端侧推理引擎，如何在ARM Linux上跑Transformer？
端侧
20
MNN与Paddle Lite
阿里巴巴与百度的轻量级推理框架对比。
对比
21
模型转换与格式统一
从PyTorch到ONNX再到TFLite，踩坑记录。
转换
22
边缘设备选型
Jetson Nano、RK3588、树莓派4B、K210，性能与功耗权衡。
硬件
23
实时性优化
算子融合、内存复用、多线程流水线，让模型跑得更快。
优化
24
功耗与散热
边缘设备上的持续推理，如何控制温度与功耗？
功耗
25
多模态轻量级Transformer
CLIP与MobileCLIP在边缘设备上的部署。
多模态
26
语音场景
Whisper Tiny在树莓派上的实时语音识别。
语音
27
视觉场景
MobileViT在Jetson Nano上的图像分类与目标检测。
视觉
28
NLP场景
TinyBERT在手机上的智能问答与文本分类。
NLP
29
端侧推理的Benchmark
如何科学地评估延迟、吞吐量与内存占用？
评测
30
课程总结与未来展望
从Transformer到Mamba，边缘AI的下一个十年。
展望