注意力机制 · 30章
友好色系
🧠 从入门到前沿
01
注意力机制导论
从人类视觉注意力到机器注意力，核心思想与直觉理解
02
Seq2Seq模型回顾
编码器-解码器架构，RNN的局限性，长距离依赖问题
03
Bahdanau注意力
加性注意力机制，上下文向量的计算，对齐模型
04
Luong注意力
乘性注意力机制，全局与局部注意力，打分函数对比
05
自注意力机制
Query、Key、Value直觉，缩放点积注意力，多头注意力
06
Transformer架构总览
编码器与解码器堆叠，位置编码，残差连接与层归一化
07
位置编码详解
正弦位置编码公式，相对位置编码，可学习位置编码
08
多头注意力机制
头的拆分与合并，为什么需要多头，信息子空间
09
掩码注意力
Padding Mask与Sequence Mask，因果掩码在解码器中的应用
10
Transformer训练技巧
学习率预热，标签平滑，梯度裁剪，Dropout策略
11
BERT中的注意力
双向上下文表示，预训练任务MLM与NSP，注意力可视化
12
GPT系列中的注意力
单向自回归注意力，因果语言模型，Zero-shot能力
13
注意力变体
稀疏注意力，局部注意力，哈希注意力，Linformer
14
长文本注意力问题
复杂度分析，稀疏化策略，Longformer与BigBird
15
跨模态注意力
视觉-语言模型中的注意力，CLIP与DALL-E的注意力机制
16
图注意力网络
图结构数据中的注意力，GAT的数学原理，多头图注意力
17
注意力可视化
注意力权重热力图，注意力头分析，可解释性工具
18
注意力中的数学
Softmax温度系数，注意力分数数值稳定性，梯度分析
19
高效注意力
FlashAttention原理，IO感知的注意力计算，分块策略
20
注意力与记忆网络
神经图灵机，可微分记忆，注意力作为寻址机制
21
Transformer-XL
片段级递归，相对位置编码，状态复用
22
Reformer
LSH注意力，可逆残差网络，分块前馈网络
23
Performer
快速注意力通过核方法，FAVOR+算法，正交随机特征
24
注意力在推荐系统
用户行为序列建模，物品注意力，特征交叉
25
注意力在时间序列
时序注意力，概率注意力，Informer模型
26
注意力在代码生成
代码结构注意力，AST注意力，CodeBERT
27
注意力机制的优化
稀疏化训练，知识蒸馏，量化注意力
28
注意力与对比学习
SimCSE中的注意力，对比学习框架下的注意力增强
29
注意力机制的局限
位置信息丢失，计算瓶颈，过平滑问题
30
未来展望
线性注意力，状态空间模型，Mamba架构与注意力的融合
⚡ 点击卡片跳转对应章节 · 30章完整目录