🎯 Dropout · 注意力机制
📘 最佳实践 · 30章 从入门到高阶
📚
完整目录 · 点击卡片跳转
01
注意力基础
从Seq2Seq到Attention
为什么需要注意力机制，核心思想与演进脉络
02
经典注意力
加性·点积·缩放点积
优缺点与适用场景，注意力公式拆解
03
自注意力
Self-Attention & QKV
QKV计算，多头拆分与合并详解
04
Dropout基础
原理与防过拟合
训练/推理差异，为何能正则化
05
Dropout位置
QKV投影·Softmax·输出
不同位置效果差异，实践分析
06
数学原理
注意力Dropout期望
以概率p丢弃，保持期望不变，缩放因子
07
多头Dropout
独立mask vs 共享
每个头独立还是共享mask？实践经验
08
交叉注意力
编码器-解码器策略
交叉注意力的Dropout，与自注意力区别
09
Transformer配置
Embedding·Attn·FFN
三种Dropout协同，最佳实践
10
调参技巧
0.1 / 0.2 / 0.3 怎么选
不同任务最佳Dropout率
11
训练vs推理
nn.Dropout & eval模式
Dropout2d区别，推理关闭
12
代码实现
PyTorch多头+Dropout
逐行讲解，带Dropout的多头注意力
13
自定义层
支持不同位置Dropout
灵活配置QKV/Softmax/输出
14
可视化对比
注意力权重稀疏性
有/无Dropout的权重热图
15
文本分类实验
损失曲线·准确率
不同Dropout策略效果对比
16
机器翻译实验
BLEU值影响
踩坑经验，Dropout对BLEU的影响
17
结构化Dropout
整行/整列丢弃
适用于序列任务的结构化方法
18
Dropout & LayerNorm
顺序配合
先Dropout还是先LayerNorm？
19
渐进式Dropout
动态调整比率
训练初期低dropout，后期提高
20
Spatial Dropout
图像注意力
通道维度的Dropout应用
21
常见误区
推理时忘记关闭
导致结果不稳定，如何避免
22
误区·欠拟合
Dropout率过高
模型学不到东西，诊断方法
23
误区·忘记缩放
训练不稳定
注意力权重上使用Dropout未缩放
24
误区·多头不一致
不同Dropout率
破坏一致性，建议统一
25
正则化对比
Dropout vs Label Smoothing
与Weight Decay对比分析
26
Dropout变体
DropConnect·Standout
Concrete Dropout在注意力中的应用
27
大模型配置
BERT·GPT·ViT
复现时的发现与配置细节
28
数学推导
期望角度证明正则化
注意力Dropout的严格推导
29
实战项目
Transformer分类器调参
完整代码，最优Dropout配置
30
总结展望
最佳实践清单
未来研究方向，注意力Dropout清单