01
显存带宽基础
带宽定义 · 计算公式 · GPU性能影响
核心概念理论
02
带宽瓶颈识别
Nsight Systems · 内存停顿周期分析
性能分析工具
03
内存访问模式
合并/非合并 · 对齐 · 空间局部性
访存优化模式
04
共享内存优化
Bank Conflict · Padding · 全局内存对比
共享内存冲突
05
只读缓存与纹理内存
__ldg() · 纹理场景 · 只读优势
缓存纹理
06
寄存器优化
寄存器溢出 · 压力 · volatile
寄存器编译
07
L1/L2缓存优化
命中率 · 缓存行 · 流式/随机访问
缓存层次吞吐
08
内存池与预分配
CUDA内存池 · cudaMallocAsync · 碎片
内存管理异步
09
异步数据传输
cudaMemcpyAsync · Stream · 双缓冲
异步并发
10
统一内存与预取
cudaMallocManaged · Prefetch · 页面错误
统一内存预取
11
CUDA Graphs
图捕获 · 重放 · 多图调度
图执行启动开销
12
内核融合
融合策略 · Fused Kernel · 启动次数
内核优化融合
13
Warp级别优化
Shuffle · 归约 · 协作组
Warp指令级
14
Tensor Core基础
架构 · WMMA API · 混合精度
Tensor Core混合精度
15
Tensor Core进阶
cuBLAS/cuDNN · 自定义Kernel
cuBLAScuDNN
16
稀疏矩阵加速
存储格式 · cuSPARSE · 结构化稀疏
稀疏cuSPARSE
17
NCCL与多GPU通信
AllReduce · Ring/Tree · 初始化
NCCL多GPU
18
NVLink与NVSwitch
拓扑 · 带宽聚合 · 跨节点
NVLink互联
19
GPU Direct与RDMA
P2P · Storage · 绕过CPU
RDMA直通
20
算子融合与JIT编译
TorchScript · Triton · 自定义融合
JIT融合
21
编译器优化
PTX/SASS · 内联汇编 · 编译器标志
编译底层
22
Profiling工具链
Nsight Compute · Nsight Systems · ncu
性能分析工具
23
性能计数器
硬件计数器 · stall原因 · Metrics
计数器调优
24
自动调优
OpenTuner · TVM AutoTVM · 网格搜索
自动调优搜索
25
模型级优化
FlashAttention · Memory Efficient · 调度
模型优化Attention
26
推理优化
TensorRT · INT8量化 · 动态形状
推理量化
27
训练优化
混合精度 · 梯度累积 · ZeRO
训练ZeRO
28
分布式训练
数据/模型/流水线/张量并行
分布式并行
29
实际案例分析
LLM推理 · Stable Diffusion加速
案例LLM
30
未来趋势
CXL · 存算一体 · 光互连 · 3D堆叠
前沿架构