01
Attention机制概述
从Seq2Seq到Attention的演进 · Query, Key, Value · 信息筛选与聚焦
核心思想入门
02
经典Attention计算方式
加性 · 点积 · 缩放点积 · 双线性Attention
加性点积双线性
03
Softmax与Attention权重
温度系数 · 稀疏化 · 熵正则化 · 数值溢出实战
Softmax数值稳定
04
Self-Attention与Transformer基石
多头注意力 · 位置编码 · Encoder-Decoder架构
Transformer多头
05
计算复杂度分析
O(n²)复杂度 · 长序列瓶颈 · 文档/视频场景
复杂度长序列
06
稀疏Attention
固定稀疏模式 · Strided · LogSparse · 精度权衡
稀疏Fixed
07
局部敏感哈希Attention
Reformer · LSH降复杂度O(n log n) · 哈希碰撞
LSHReformer
08
低秩分解与核方法
Linformer · Performer(FAVOR+) · 核函数逼近
低秩核方法
09
FlashAttention
IO感知 · Tiling分块 · 前向/反向优化 · 速度提升
FlashIO感知
10
FlashAttention v2与v3
非因果优化 · FP8 · Tensor Core · 版本选择
v2/v3FP8
11
分页Attention (PagedAttention)
vLLM · KV Cache内存碎片 · 分页管理 · 吞吐提升
vLLM分页
12
多查询/分组查询Attention
MQA · GQA · LLaMA实践 · 推理加速
MQAGQA
13
滑动窗口Attention
固定/动态窗口 · Mistral · LongLoRA · 长文档策略
滑动窗口Mistral
14
膨胀与空洞Attention
空洞卷积思想 · 稀疏连接 · 感受野与计算量
空洞Dilated
15
跨模态Attention
Cross-Attention · Stable Diffusion · Flamingo · 可视化
跨模态多模态
16
因果Attention
自回归掩码 · 三角掩码 · KV Cache优化
因果掩码
17
相对位置编码与RoPE
绝对编码局限 · T5 Bias · 旋转位置编码 · LLaMA/ChatGLM
RoPE相对位置
18
ALiBi位置编码
线性偏置 · 无需参数 · 长序列外推优势
ALiBi外推
19
线性Attention
Efficient Attention · 核函数 · 精度差距 · 替换场景
线性核函数
20
状态空间模型与Attention融合
Mamba · RetNet · SSM vs Attention · 未来演进
MambaRetNet
21
长序列处理技术
位置插值 · NTK-aware · YaRN · 4K→128K实践
长上下文插值
22
Attention量化与压缩
INT8/INT4 · KV Cache量化(KIVI,GEAR) · 部署精度
量化压缩
23
稀疏专家混合+Attention
MoE · Switch Transformer · Top-2路由 · 负载均衡
MoE稀疏
24
硬件感知的Attention优化
CUDA Kernel融合 · Tensor Core · Nsight分析
硬件CUDA
25
分布式训练中的Attention优化
张量并行 · 序列并行(Ring Attention) · 3D并行
分布式并行
26
推理加速中的Attention优化
Continuous Batching · 推测解码 · vLLM vs TensorRT-LLM
推理批处理
27
Attention可视化与可解释性
Attention Rollout · 头重要性剪枝 · 调试可视化
可视化可解释
28
Attention变体与前沿探索
Mamba-2 SSD · Diff Transformer · MLA(DeepSeek)
前沿变体
29
Attention优化技术选型指南
序列长度/硬件/任务适配 · 综合对比表与决策树
选型决策
30
总结与未来展望
全景图 · O(n²)→O(n) · 硬件算法协同 · 下一代猜想
总结展望