🧪 SwiGLU · 收敛速度实验
📘 课程目录 · 30 章完整版
⚡ 激活函数深度对比
30讲
01
实验背景与动机
为什么关注激活函数对收敛速度的影响？SwiGLU 提出背景
02
SwiGLU 数学原理
公式推导，与 ReLU、GELU 数学关系对比
03
实验环境搭建
PyTorch 版本、CUDA、硬件配置 (GPU/显存)
04
基线模型定义
标准 Transformer，编码器-解码器，隐藏层 768
05
激活函数替换方案
FFN 层分别使用 ReLU、GELU、SwiGLU，超参数一致
06
数据集选择
WMT14 英德翻译，BPE 分词预处理
07
训练超参数设置
lr 3e-4, warmup 4000, batch 64, AdamW
08
收敛性评价指标
Perplexity、训练损失、验证损失
09
实验对照组设计
固定随机种子，每个配置运行3次取平均
10
训练过程监控
TensorBoard 记录损失曲线，每100步记录
11
SwiGLU 组实验结果
训练损失下降曲线，收敛到目标损失步数
12
ReLU 组实验结果
训练损失下降曲线，与 SwiGLU 步数对比
13
GELU 组实验结果
训练损失下降曲线，与 SwiGLU 步数对比
14
收敛速度定量分析
达到相同验证损失 (4.5) 各组的步数统计表
15
最终性能对比
验证集 Perplexity 和 BLEU 分数
16
损失曲线可视化
三条损失曲线同图，标注关键收敛点
17
梯度流动分析
各层梯度范数，SwiGLU 缓解梯度消失
18
激活值分布分析
各层激活值直方图，观察 SwiGLU 稀疏性
19
训练稳定性分析
损失标准差，评估 SwiGLU 稳定性
20
消融实验 · β参数
β = 0.5, 1.0, 2.0 对收敛的影响
21
不同模型规模测试
隐藏层 384/512/768 下验证泛化性
22
不同优化器对比
AdamW 与 SGD 下 SwiGLU 优势保持
23
不同学习率敏感性
lr 1e-4, 3e-4, 1e-3 下 SwiGLU 鲁棒性
24
训练时间开销
每1000步训练时间，SwiGLU 计算效率
25
显存占用对比
峰值显存占用，SwiGLU 显存开销
26
实验结果汇总表
所有实验数据表格，含均值、方差
27
结论与讨论
SwiGLU 收敛速度优势 (~30%步数减少) 及适用场景
28
局限性分析
极小模型 (隐藏层128) 优势不明显及原因
29
未来工作
SwiGLU + LayerNorm位置 / 残差连接联合优化
30
代码复现与资源
实验代码仓库 & 复现步骤