归一化抉择 · 30章

🧃 友好色系
01
归一化技术概览 为什么NLP需要特殊归一化？BatchNorm在CV的成功与NLP困境
02
BatchNorm原理剖析 数学公式、训练/推理差异、对batch size依赖
03
LayerNorm原理剖析 数学公式、与BN核心区别、序列长度适应性
04
Transformer为何选择LayerNorm 原始论文动机、残差连接与归一化相互作用
05
RMSNorm LayerNorm简化版，抛弃均值，只做方差归一化
06
Pre-LN vs Post-LN 归一化放在残差之前还是之后？训练稳定性差异
07
BatchNorm在NLP中的变体 Ghost BatchNorm、虚拟batch size技术
08
LayerNorm的变体 Adaptive LayerNorm、Conditional LayerNorm
09
混合归一化 Transformer中同时使用BN和LN，取长补短
10
归一化对梯度流动的影响 为什么LN让Transformer训练更稳定？
11
代码实战：PyTorch实现BatchNorm 从零实现BatchNorm
12
代码实战：PyTorch实现LayerNorm 从零实现LayerNorm
13
代码实战：PyTorch实现RMSNorm 从零实现RMSNorm
14
实验对比：文本分类任务 对比BN、LN、RMSNorm效果
15
实验对比：机器翻译任务 Pre-LN vs Post-LN
16
归一化与学习率的关系 LN允许更大学习率的理论解释
17
分布式训练中的归一化 BN同步问题 vs LN天然优势
18
推理加速：LN融合前向 如何将LN融合进前向传播
19
量化感知训练中的归一化 LN对低精度计算的适应性
20
长序列建模：LN在Transformer-XL / Longformer LayerNorm在长序列中的表现
21
归一化与位置编码的交互 LN会破坏位置信息吗？
22
多模态模型中的归一化选择 文本与图像分支如何统一？
23
归一化在Prompt Tuning中的作用 为什么LN对微调更友好？
24
大规模预训练模型的经验 GPT、BERT、LLaMA用了什么归一化？
25
归一化与权重初始化的配合 Xavier vs Kaiming vs LN
26
常见陷阱：BN在NLP中训练崩溃 案例分析
27
常见陷阱：LN超长序列数值稳定性 问题与对策
28
未来趋势：Dynamic / 可学习归一化 Dynamic Normalization方向
29
面试高频题：为什么Transformer不用BN？ 向面试官解释
30
总结与工程建议 不同场景归一化选型指南
📢 ： ｜