Transformer算子生态深度分析
📚 共计 30 章节
01
Transformer模型全景
从NLP到多模态，Transformer架构的演进路线与核心算子概览。
全景
演进
02
自注意力机制算子
QKV投影、注意力分数计算、Softmax、加权求和，以及FlashAttention优化。
注意力
FlashAttention
03
前馈神经网络算子
FFN结构、激活函数（ReLU/GELU/SwiGLU）、线性层与矩阵乘法优化。
FFN
激活函数
04
层归一化算子
LayerNorm、RMSNorm原理，以及其在训练和推理中的实现差异。
归一化
RMSNorm
05
位置编码算子
绝对位置编码、相对位置编码、RoPE旋转位置编码的实现与算子化。
位置编码
RoPE
06
嵌入层算子
Token Embedding与Position Embedding的查表操作，以及反向传播的稀疏性处理。
Embedding
查表
07
多头注意力机制
MHA、MQA、GQA的算子差异，以及KV Cache的显存优化。
MHA
KV Cache
08
交叉注意力算子
Encoder-Decoder架构中的Cross-Attention实现，与Self-Attention的异同。
Cross-Attention
Encoder-Decoder
09
Mask机制算子
Padding Mask与Causal Mask的实现，以及在算子层面的融合技巧。
Mask
融合
10
Dropout算子
训练与推理阶段的Dropout行为差异，以及Inference-time Dropout的应用。
Dropout
推理
11
残差连接算子
Add操作与梯度高速公路，Pre-LN与Post-LN的算子实现区别。
残差
Pre-LN
12
Softmax算子
数值稳定性、Online Softmax算法，以及FlashAttention中的Tiling策略。
Softmax
Online
13
GELU激活函数
GELU的数学近似、分段线性实现，以及在算子库中的优化版本。
GELU
近似
14
SwiGLU激活函数
SwiGLU在LLaMA系列中的应用，以及其相比ReLU的计算开销分析。
SwiGLU
LLaMA
15
矩阵乘法算子
GEMM在Transformer中的核心地位，以及cuBLAS、Triton、手写Kernel的对比。
GEMM
cuBLAS
16
Batch MatMul算子
批量矩阵乘在多头注意力中的应用，以及其与单次GEMM的性能差异。
Batch MatMul
性能
17
Reduce算子
Sum、Mean、Max等规约操作在LayerNorm和Softmax中的关键作用。
Reduce
规约
18
Broadcast算子
张量广播在残差连接和LayerNorm中的隐式使用，以及显式实现的开销。
Broadcast
隐式
19
Transpose与Reshape算子
多头注意力中的维度变换，以及Layout转换对性能的影响。
Transpose
Layout
20
Gather与Scatter算子
KV Cache的索引操作，以及FlashAttention中的分块重排。
Gather
Scatter
21
Element-wise算子
逐元素操作（Add、Mul、Div）在Transformer中的密集使用与Kernel融合。
Element-wise
融合
22
FlashAttention V1/V2/V3
从Tiling到Online Softmax，再到H100的WGMMA指令集演进。
FlashAttention
WGMMA
23
PagedAttention算子
vLLM中的显存管理，以及Page-based KV Cache的算子实现。
PagedAttention
vLLM
24
Speculative Decoding算子
投机解码中的辅助模型与验证模型算子协同。
投机解码
协同
25
量化算子
INT8/FP8量化在Transformer中的实现，以及量化感知训练（QAT）的算子支持。
INT8
QAT
26
稀疏注意力算子
局部注意力、全局注意力、滑动窗口注意力，以及动态稀疏模式。
稀疏
滑动窗口
27
MoE算子
混合专家模型中的门控网络、Top-K路由，以及专家并行的负载均衡。
MoE
路由
28
多模态对齐算子
CLIP中的对比学习损失，以及视觉-语言特征的跨模态投影。
多模态
CLIP
29
推理引擎算子融合
TensorRT、ONNX Runtime中的算子融合策略，以及手动融合与自动融合。
TensorRT
融合
30
算子性能分析
Roofline Model、Profiling工具（Nsight、py-spy），以及算子调优方法论。
性能
Roofline