01
什么是融合 · 收益分析 · 减少访存 & 提升密度
02
横向/纵向融合 · Conv+BN+ReLU · 残差融合
03
寄存器 · Cache · HBM · 延迟/带宽 · 局部性
04
Tiling · Prefetch · Coalescing · Bank conflict
06
HLO图优化 · Layout/Buffer assignment
09
图模式 · fuse_xxx · script/trace
12
FlashAttention-2/3 · PagedAttention
14
im2col · Winograd · FFT · MEC
17
Online Softmax · FlashAttention融合 · 分段
20
QKV投影融合 · 多头拼接 · mask+softmax
22
FP16/BF16转换 · Loss Scaling · 梯度融合
24
ZeRO-1/2/3分片 · overlap · 融合更新
25
1F1B调度 · 交错调度 · 通信计算overlap
26
AllReduce+矩阵乘法 · Ring Attention
28
MLIR Dialect · Triton自动tiling · Halide
29
Nsight Systems/Compute · Roofline · 对比
30
Conv+BN+ReLU CUDA实现 · TVM/Triton · 大模型推理