🧩
残差连接 & LayerNorm
从零实现 Transformer · 30 章进阶
📚
友好 · 理论+代码
1
01
为什么需要残差连接
退化问题
梯度消失/爆炸
核心思想
2
02
残差连接的数学原理
恒等映射
残差块推导
前反向优势
3
03
Transformer中的残差位置
Self-Attention子层
FFN子层
Add & Norm
4
04
残差连接的代码实现
PyTorch实现
手动残差块
对比实验
5
05
为什么需要LayerNorm
BN局限性
LN原理
NLP优势
6
06
LayerNorm数学原理
均值方差
归一化公式
γ和β
7
07
LayerNorm代码实现
nn.LayerNorm
手动实现
对比BatchNorm
8
08
LayerNorm在Transformer中位置
Pre-LN / Post-LN
训练影响
实践经验
9
09
残差连接与LayerNorm协同
缺一不可
梯度流动
训练稳定性
10
10
Add & Norm整体实现
组合残差+LN
AddNorm类
集成Transformer
11
11
梯度消失问题详解
Sigmoid/Tanh饱和
梯度衰减
残差缓解
12
12
梯度爆炸问题详解
权重初始化
梯度裁剪
LayerNorm稳定
13
13
权重初始化与残差连接
Xavier
He初始化
宽容度
14
14
LayerNorm的变体
RMS LayerNorm
简化版本
性能对比
15
15
Pre-LN Transformer详解
原始Post-LN
Pre-LN改进
训练更深
16
16
Post-LN Transformer详解
原始设计
不稳定原因
被取代
17
17
残差连接的变体
Pre-activation
Dense连接
跨层残差
18
18
LayerNorm梯度计算
反向推导
手动计算
代码验证
19
19
残差连接梯度计算
残差反向传播
梯度高速公路
梯度检查
20
20
数值稳定性分析
浮点精度
LN数值稳定
残差特性
21
21
大规模模型残差连接
GPT系列
BERT设计
千亿参数技巧
22
22
大规模模型LayerNorm
T5位置编码
LLaMA RMSNorm
效率优化
23
23
残差连接与Dropout
Dropout位置
残差后Dropout
训练推理差异
24
24
LayerNorm与Dropout
LN对Dropout影响
最佳配置
25
25
残差连接PyTorch高级
nn.Sequential
自定义模块
混合精度
26
26
LayerNorm PyTorch高级
Fused LayerNorm
加速技巧
分布式训练
27
27
调试残差连接和LayerNorm
常见错误
梯度检查
可视化梯度
28
28
从零实现Transformer块
完整代码
逐行解释
测试验证
29
29
实验对比分析
有/无残差曲线
有/无LN收敛
综合对比
30
30
总结与进阶
未来方向
归一化对比
推荐资料