🚀 向量化指令集·实战
CUDA 并行计算
📚
30 章 · 从入门到部署
⚡ 友好色系
1
CUDA向量化概述
SIMT
什么是SIMT
向量化历史
为何需要向量化
2
CUDA编程模型回顾
基础
线程层次
内存层次
核函数基础
3
向量加法基础
全局内存
向量加法实现
性能分析
带宽计算
4
共享内存优化
Bank Conflict
共享内存原理
Bank Conflict
优化向量加法
5
向量化加载与存储
float2/4
float2/float4
向量化访问
对齐要求
6
Warp Shuffle指令
__shfl
__shfl_sync
up/down
Warp级归约
7
Warp级矩阵运算
Tensor Core
__hmma
WMMA API
Tensor Core基础
8
半精度浮点运算
half
half类型
__hadd/__hmul
混合精度训练
9
向量化类型详解
char2/int2
char2/short2
int2/double2
使用场景
10
向量化归约操作
Warp/Block
Warp级归约
Block级归约
向量化版本
11
向量化扫描操作
前缀和
前缀和
Warp扫描
Block扫描
12
向量化矩阵乘法
GEMM
向量化加载
Tiling技术
优化GEMM
13
向量化卷积操作
im2col+GEMM
im2col+GEMM
直接卷积
向量化实现
14
向量化池化操作
Max/Avg
最大池化
平均池化
向量化实现
15
向量化激活函数
ReLU/Sigmoid
ReLU
Sigmoid
Tanh向量化
16
向量化Dropout
随机掩码
随机掩码生成
向量化应用掩码
17
向量化BatchNorm
训练/推理
训练阶段
推理阶段
向量化实现
18
向量化LayerNorm
Transformer
LayerNorm
针对Transformer
优化
19
向量化Softmax
数值稳定
数值稳定性
Warp级实现
20
向量化Attention
QKV投影
QKV投影
注意力分数
向量化计算
21
向量化GELU
近似计算
GELU近似
向量化实现
22
向量化位置编码
Sinusoidal/RoPE
Sinusoidal
RoPE
向量化实现
23
向量化数据预处理
归一化
归一化
标准化
数据增强
24
向量化损失函数
交叉熵/MSE
交叉熵损失
MSE损失
向量化实现
25
向量化梯度计算
反向传播
反向传播
向量化模式
26
向量化优化器
SGD/Adam
SGD更新
Adam更新
向量化步骤
27
向量化稀疏操作
SpMV
稀疏矩阵向量乘
Gather/Scatter
28
向量化通信操作
All-Reduce
All-Reduce
All-Gather
向量化实现
29
向量化性能调优
Occupancy
Occupancy分析
指令级并行
延迟隐藏
30
向量化实战案例
端到端
小型Transformer
训练全流程