Self-Attention 数学本质与代码复现
📘 30章 · 从原理到前沿
01
Attention的起源：从Seq2Seq到Bahdanau Attention
为什么需要注意力机制？
02
核心公式拆解：Softmax(QK
T
/√d)V
数学推导与几何意义
03
Query、Key、Value的本质
信息检索系统的类比与线性变换
04
缩放点积的意义：为什么除以√d？
数值稳定性与梯度分析
05
Softmax的陷阱：温度系数、数值溢出
Log-Sum-Exp技巧
06
多头注意力：为什么需要多头？
子空间投影与并行计算
07
位置编码：绝对位置编码、相对位置编码
旋转位置编码
08
Mask机制：Padding Mask与Causal Mask
实现与数学原理
09
Self-Attention的复杂度：O(n²)的瓶颈
稀疏注意力
10
PyTorch从零实现：手写单头Self-Attention模块
11
PyTorch从零实现：手写多头注意力模块
12
PyTorch从零实现：手写位置编码与Mask
13
PyTorch从零实现：完整的Transformer Encoder Layer
14
反向传播推导：Self-Attention的梯度流与计算图
15
数值稳定性：LayerNorm、Residual Connection
梯度裁剪
16
权重初始化：Xavier与Kaiming初始化
对Attention的影响
17
Dropout在Attention中的应用
注意力Dropout与残差Dropout
18
FlashAttention原理：分块计算与IO感知算法
19
稀疏注意力：Longformer、BigBird与Reformer
20
线性注意力：Linear Attention与Performer的核方法
21
因果注意力：GPT系列中的单向注意力实现
22
交叉注意力：Encoder-Decoder Attention的数学形式
23
相对位置编码：Transformer-XL与T5的实现细节
24
旋转位置编码：RoPE的复数域推导与实现
25
Grouped Query Attention：GQA与MQA的数学等价性
26
Multi-Query Attention：共享Key/Value的加速原理
27
Attention可视化：注意力权重热力图与注意力流
28
性能优化：torch.compile、CUDA Graph与算子融合
29
常见陷阱：数值误差、显存爆炸与序列长度限制
30
前沿进展：State Space Model与Attention的融合趋势
⚡ 点击卡片跳转对应章节 · 30章完整目录