LayerNorm · 原理与反向传播
📐 30 章 · 从零精通
🧩 点击卡片跳转对应章节 · 友好配色
⭐ 完整目录 · 梯度推导 + 代码
01
LayerNorm背景：为什么需要LayerNorm？BatchNorm的局限性。
02
数学基础：均值与方差的计算。
03
数学基础：标准化公式与缩放平移参数。
04
前向传播：LayerNorm的完整计算图。
05
前向传播：计算图分解——均值计算节点。
06
前向传播：计算图分解——方差计算节点。
07
前向传播：计算图分解——标准化节点。
08
前向传播：计算图分解——缩放平移节点。
09
反向传播：链式法则回顾。
10
反向传播：损失对缩放参数γ的梯度。
11
反向传播：损失对平移参数β的梯度。
12
反向传播：损失对标准化后输出的梯度。
13
反向传播：损失对方差的梯度（上）。
14
反向传播：损失对方差的梯度（下）。
15
反向传播：损失对均值的梯度。
16
反向传播：损失对原始输入的梯度（核心公式）。
17
反向传播：梯度公式化简技巧。
18
反向传播：向量化实现思路。
19
代码实现：纯Python实现LayerNorm前向。
20
代码实现：纯Python实现LayerNorm反向。
21
代码实现：与PyTorch官方结果对比验证。
22
数值稳定性：小epsilon的作用与选择。
23
数值稳定性：梯度消失/爆炸的预防。
24
工程实践：LayerNorm在Transformer中的位置。
25
工程实践：Pre-LN vs Post-LN架构对比。
26
工程实践：RMSNorm——LayerNorm的简化变体。
27
面试题：手撕LayerNorm反向传播。
28
面试题：LayerNorm与BatchNorm的梯度差异。
29
扩展讨论：GroupNorm与LayerNorm的关系。
30
总结：LayerNorm的核心要点与学习路径。