🧠
自注意力 · Dropout 实验课
✨
📚 30章 完整目录
1
自注意力机制基础：从RNN到Transformer的演进，为什么需要自注意力？
序列建模的变革 · 核心动机
➜
2
自注意力计算原理：QKV矩阵的数学推导与直观理解
Query, Key, Value 内积
➜
3
多头注意力机制：为什么需要多头？如何并行计算？
Multi-Head 并行
➜
4
Dropout基础概念：Dropout的数学原理与随机失活机制
Bernoulli 掩码
➜
5
Dropout在注意力分数上的应用：对softmax输出进行dropout
注意力权重正则
➜
6
Dropout在残差连接中的应用：Pre-LN与Post-LN的差异
残差路径随机失活
➜
7
Dropout率0.1的实验：轻微正则化对模型收敛的影响
p=0.1 轻量正则
➜
8
Dropout率0.3的实验：中等强度正则化的表现
p=0.3 平衡
➜
9
Dropout率0.5的实验：强正则化下的模型行为
p=0.5 强约束
➜
10
Dropout率0.7的实验：过度正则化导致欠拟合
p=0.7 高风险
➜
11
不同Dropout率对注意力分布的影响：熵的变化分析
注意力熵 · 不确定性
➜
12
Dropout对梯度流动的影响：反向传播中的随机性
梯度掩码
➜
13
训练阶段与推理阶段的Dropout差异：scale操作的重要性
inference scaling
➜
14
Dropout与Layer Normalization的相互作用
LN + Dropout 顺序
➜
15
Dropout在编码器与解码器中的不同表现
Encoder vs Decoder
➜
16
序列长度对Dropout效果的影响：短序列与长序列的差异
长度敏感性
➜
17
学习率与Dropout率的联合调参策略
LR & p 协同
➜
18
Batch Size与Dropout率的协同效应
batch 正则
➜
19
权重初始化对Dropout效果的影响
初始化方差
➜
20
不同注意力头数的Dropout敏感性分析
头数 vs p
➜
21
结构化Dropout：对整行/整列进行dropout
结构化掩码
➜
22
Spatial Dropout在视觉Transformer中的应用
ViT 空间正则
➜
23
Dropout与Label Smoothing的组合使用
标签平滑 + Dropout
➜
24
Dropout与Stochastic Depth的对比实验
随机深度 vs Dropout
➜
25
实际案例：BERT中Dropout率的选择经验
BERT 实践
➜
26
实际案例：GPT系列中Dropout率的演变
GPT 演化
➜
27
实际案例：ViT中Dropout率的调优过程
ViT 调优
➜
28
可视化工具：如何绘制注意力权重热力图
热力图 · 注意力
➜
29
自动化调参：使用Optuna搜索最优Dropout率
Optuna 贝叶斯
➜
30
总结与最佳实践：不同场景下的Dropout率推荐表
速查表 · 经验法则
➜