📘 SwiGLU · GELU
视觉模型评测
30章 · 完整目录
1
课程导论
起源
SwiGLU与GELU · 视觉评测动机 · 指标概览
2
GELU激活函数原理
高斯误差
数学推导 · 对比ReLU/ELU · BERT应用
3
SwiGLU激活函数原理
Swish+GLU
门控机制 · β参数 · 与GELU差异
4
实验环境搭建
PyTorch 2.0+
CUDA/cuDNN · W&B 追踪
5
基准模型选择
ResNet-50
ViT-B/16 · Swin-T · 架构解析
6
数据集准备
ImageNet-1K
预处理 · RandAugment/MixUp/CutMix
7
激活函数替换方案
ResNet/ViT
替换ReLU→GELU/SwiGLU · 代码细节
8
训练超参数配置
Cosine Annealing
权重衰减 · Batch Size · 梯度裁剪
9
训练稳定性分析
损失曲线
梯度范数 · 激活值分布 · NaN排查
10
收敛速度对比
Epoch数
前50损失 · 学习率预热表现
11
Top-1/Top-5准确率
ImageNet验证
精度对比 · 置信区间 · 显著性检验
12
参数量与计算量
FLOPs
参数量 · FPS · 显存占用
13
激活值分布可视化
直方图
均值/方差 · 死神经元 · 饱和区域
14
梯度流动分析
梯度范数
消失/爆炸检测 · 反向传播效率
15
注意力图可视化 (ViT)
CLS注意力
GELU vs SwiGLU · 频率分析
16
特征图可视化 (CNN)
ResNet特征
通道热力图 · 感受野变化
17
对抗鲁棒性测试
FGSM/PGD
准确率下降 · 对抗训练 · 梯度掩蔽
18
分布偏移鲁棒性
ImageNet-C/R/A
损坏 · 渲染 · 对抗
19
迁移学习表现
CIFAR-100
Flowers · Cars · 线性探测/微调
20
小样本学习场景
1/5/10张
少样本泛化 · 特征可分性
21
模型量化兼容性
INT8
精度损失 · 量化感知训练 · 误差放大
22
混合精度训练表现
FP16/BF16
数值稳定性 · Loss Scale
23
消融实验
β参数
门控维度 · 初始化方式
24
计算效率优化
FlashAttention
算子融合 · TensorRT
25
多GPU分布式训练
DDP
扩展性 · 通信开销 · 梯度累积
26
实验结果汇总
完整表格
雷达图 · 排名推荐
27
理论分析
门控机制
平滑性优势 · 经验法则
28
工程实践建议
部署指南
训练加速 · 踩坑记录
29
前沿进展
LLaMA
PaLM · 未来趋势
30
课程总结
核心结论
开源代码 · 论文列表