🧠 Transformer 视觉课
📘
30章 · 从入门到前沿
1
01
Transformer起源
从NLP到CV的跨界之旅，为什么视觉需要Transformer？
2
02
自注意力机制
Query、Key、Value的三角关系，数学公式与直观理解。
3
03
多头注意力
为什么一个头不够？多头并行计算的工程实现。
4
04
位置编码
绝对位置编码与相对位置编码，视觉中的位置信息处理。
5
05
ViT模型架构
Vision Transformer的完整结构，Patch Embedding与Class Token。
6
06
ViT训练技巧
大规模预训练、数据增强、优化器选择，我在ImageNet上踩过的坑。
7
07
DeiT
数据高效的图像Transformer，知识蒸馏在ViT中的应用。
8
08
Swin Transformer
层级式特征与移动窗口注意力，为什么它能成为视觉Backbone？
9
09
PVT
金字塔视觉Transformer，多尺度特征在密集预测任务中的重要性。
10
10
CSWin Transformer
十字形窗口注意力，兼顾效率与性能的设计哲学。
11
11
CrossViT
跨尺度注意力融合，多分支结构的优势与挑战。
12
12
T2T-ViT
Token-to-Token的渐进式结构，如何更好地保留局部信息？
13
13
DeepViT与CaiT
深层Transformer的训练难题，LayerScale与Re-attention机制。
14
14
DETR
端到端目标检测，Transformer如何取代NMS和Anchor？
15
15
Deformable DETR
可变形注意力，收敛慢问题的工程解决方案。
16
16
DINO
无监督视觉Transformer，自蒸馏与对比学习的完美结合。
17
17
MAE
掩码自编码器，为什么随机掩码能学到如此好的视觉表征？
18
18
BEiT
双向编码器预训练，掩码图像建模的另一种思路。
19
19
SegFormer
语义分割的Transformer范式，无位置编码的MLP解码器。
20
20
SETR
用ViT做语义分割，重新思考编码器-解码器结构。
21
21
Mask2Former
统一的分割框架，掩码注意力在实例/语义/全景分割中的应用。
22
22
Video Vision Transformer
视频理解中的时空注意力，3D位置编码的设计。
23
23
TimeSformer
分离式时空注意力，减少计算量的实用技巧。
24
24
ViViT
高效的视频Transformer，因子分解与模型压缩策略。
25
25
VideoMAE
视频掩码自编码器，高掩码率下的自监督学习。
26
26
TransUNet
医学图像分割，CNN与Transformer的混合架构。
27
27
LeViT与MobileViT
轻量化Transformer，如何在移动端部署视觉模型？
28
28
EfficientFormer
纯Transformer的轻量级设计，延迟感知的网络搜索。
29
29
视觉Transformer的可解释性
注意力可视化、特征图分析、模型诊断。
30
30
未来展望
视觉Transformer的演进方向，下一代架构的猜想与挑战。