🎓 深度学习 · 进阶课程
SwiGLU 参数初始化策略
与训练稳定性
📚 30 章 · 从原理到实战 · 全彩卡片目录
⚡ 30 节 · 完整版
v2.0
01
SwiGLU激活函数的前世今生：从ReLU到GLU再到SwiGLU的演进之路，为什么需要SwiGLU？
起源
激活函数进化
→
02
SwiGLU数学原理深度拆解：Sigmoid门控机制与Swish激活的协同效应，公式推导与直觉理解。
数学
门控 · Swish
→
03
参数初始化为什么对SwiGLU至关重要：梯度消失、爆炸与死亡神经元问题，初始化不当的典型症状。
诊断
梯度问题
→
04
Xavier初始化原理与局限：均匀分布与正态分布版本，为什么Xavier在SwiGLU上表现不佳？
经典
Xavier
→
05
Kaiming初始化原理与适配：针对ReLU家族的初始化，为什么Kaiming比Xavier更适合SwiGLU？
适配
Kaiming
→
06
SwiGLU特有的初始化挑战：门控分支与线性分支的方差平衡问题，两路参数的不同命运。
挑战
方差平衡
→
07
DeepNorm初始化策略：针对深层Transformer的归一化与初始化联合方案，LayerNorm的缩放因子。
深层
DeepNorm
→
08
Fixup初始化：不依赖归一化层的初始化方法，如何通过调整残差分支的初始化稳定训练？
无归一化
Fixup
→
09
T-Fixup初始化：针对Transformer的改进版Fixup，时间特征的特殊处理。
Transformer
T-Fixup
→
10
ReZero初始化：残差分支从零开始学习，为什么零初始化在某些场景下有效？
零初始化
ReZero
→
11
SkipInit初始化：与ReZero类似但更灵活，可学习的残差缩放因子。
灵活
SkipInit
→
12
初始化与学习率的耦合关系：Warmup策略如何弥补初始化不足，学习率调度与初始化的配合。
耦合
Warmup
→
13
SwiGLU在LLaMA系列中的初始化实践：LLaMA、LLaMA-2、LLaMA-3的初始化方案对比。
LLaMA
系列对比
→
14
SwiGLU在PaLM中的初始化方案：Parallel SwiGLU架构下的初始化调整。
PaLM
并行架构
→
15
SwiGLU在Falcon中的初始化策略：多查询注意力与SwiGLU的初始化协同。
Falcon
MQA
→
16
SwiGLU在Mistral中的初始化细节：分组查询注意力下的初始化适配。
Mistral
GQA
→
17
SwiGLU在GPT-J/GPT-NeoX中的初始化：开源实现中的常见初始化陷阱。
开源
陷阱分析
→
18
SwiGLU在BERT-style模型中的初始化：编码器架构下的初始化差异。
BERT
编码器
→
19
SwiGLU在视觉Transformer中的初始化：ViT、Swin Transformer中的SwiGLU变体初始化。
视觉
ViT · Swin
→
20
SwiGLU在多模态模型中的初始化：CLIP、Flamingo等跨模态架构的初始化挑战。
多模态
跨模态
→
21
SwiGLU初始化与混合精度训练：FP16/BF16下的初始化缩放，避免溢出与下溢。
混合精度
FP16/BF16
→
22
SwiGLU初始化与分布式训练：数据并行、模型并行、张量并行下的初始化一致性。
分布式
并行策略
→
23
SwiGLU初始化与超参数搜索：如何通过初始化调整减少超参数搜索空间？
超参数
搜索优化
→
24
SwiGLU初始化与模型规模的关系：小模型vs大模型的初始化差异，Scaling Law下的初始化规律。
规模
Scaling Law
→
25
SwiGLU初始化与训练稳定性指标：梯度范数、激活值统计、损失曲线等监控指标。
监控
稳定性指标
→
26
SwiGLU初始化失效的诊断方法：如何判断训练不稳定是初始化问题还是其他原因？
诊断
失效分析
→
27
SwiGLU初始化的代码实现：PyTorch中自定义初始化函数，HuggingFace Transformers中的初始化钩子。
代码
PyTorch · HF
→
28
SwiGLU初始化的实验设计：控制变量法对比不同初始化策略，消融实验的设计思路。
实验
消融设计
→
29
SwiGLU初始化的未来方向：MetaInit、GradInit等自适应初始化方法，初始化与架构的协同设计。
前沿
自适应初始化
→
30
SwiGLU初始化实战总结：从理论到实践的最佳实践清单，常见问题FAQ。
总结
最佳实践 · FAQ
→