🧪 SwiGLU · Swish
梯度流
📘 对比分析 · 30章
🔥 自门控
🧬 梯度流
⚡ SwiGLU
🎯 友好色系
📐 30个实验
1
课程导论：为什么需要关注激活函数的梯度流？SwiGLU与Swish的起源与定位。
梯度流 · 起源 · 定位
2
数学基础回顾：Sigmoid与ReLU的梯度流问题（梯度消失与死亡ReLU）。
Sigmoid · ReLU · 梯度消失
3
Swish激活函数：数学定义、函数图像与一阶导数推导。
Swish · 定义 · 导数
4
Swish的梯度流特性：自门控机制如何缓解梯度消失？
自门控 · 缓解梯度消失
5
Swish的梯度流特性：非单调性与负值区域的梯度保留。
非单调 · 负值梯度
6
Swish的梯度流特性：在深层网络中的梯度传播实验（理论分析）。
深层网络 · 梯度传播
7
Swish的变体：SiLU（Sigmoid Linear Unit）与Swish的关系。
SiLU · 变体 · 关系
8
Swish的局限性：计算开销与在特定任务中的不稳定性。
局限性 · 计算开销
9
GLU（Gated Linear Unit）门控线性单元：原始定义与门控机制。
GLU · 门控线性单元
10
GLU的梯度流特性：门控信号如何控制信息流动？
门控信号 · 信息流动
11
GLU的梯度流特性：梯度通过门控路径的乘法交互。
乘法交互 · 门控路径
12
SwiGLU的诞生：将Swish作为GLU的门控激活函数。
SwiGLU · 门控激活
13
SwiGLU的数学定义：SwiGLU(x) = Swish(W_gate x + b_gate) ⊙ (W_up x + b_up)。
数学定义 · 门控线性
14
SwiGLU的梯度流特性：门控分支与线性分支的梯度分解。
梯度分解 · 分支
15
SwiGLU的梯度流特性：Swish门控如何调节线性分支的梯度幅度？
梯度幅度 · Swish门控
16
SwiGLU的梯度流特性：与GLU相比，Swish门控带来的平滑梯度优势。
平滑梯度 · 优势
17
SwiGLU的梯度流特性：与Swish相比，门控结构如何增强表达能力？
表达能力 · 门控结构
18
梯度流对比实验设计：在相同网络结构下，替换激活函数进行训练。
实验设计 · 替换激活
19
梯度流对比实验：梯度范数（Gradient Norm）随层数变化的可视化。
梯度范数 · 层数变化
20
梯度流对比实验：梯度方差与梯度方向一致性分析。
梯度方差 · 方向一致性
21
梯度流对比实验：训练损失收敛曲线与验证集准确率对比。
损失收敛 · 准确率
22
梯度流对比实验：在Transformer FFN层中的实际表现（LLaMA系列案例）。
Transformer · FFN · LLaMA
23
梯度流对比实验：在ResNet/CIFAR-10上的梯度流热力图分析。
ResNet · CIFAR-10 · 热力图
24
梯度流对比实验：不同初始化策略对SwiGLU与Swish梯度流的影响。
初始化策略 · 影响
25
梯度流对比实验：Batch Normalization与Layer Normalization对梯度流的协同作用。
BN · LN · 协同
26
梯度流对比实验：混合精度训练（FP16/BF16）下的梯度稳定性对比。
混合精度 · FP16 · BF16
27
梯度流对比实验：长序列训练（如GPT）中梯度爆炸/消失的鲁棒性。
长序列 · 梯度爆炸/消失
28
梯度流对比实验：稀疏梯度场景下（如MoE模型）的表现差异。
稀疏梯度 · MoE
29
工程实践建议：何时选择Swish？何时选择SwiGLU？权衡计算效率与模型性能。
工程实践 · 选择建议
30
课程总结：SwiGLU与Swish梯度流差异的核心结论与未来展望。
核心结论 · 未来展望