GPU内存带宽瓶颈定位与突破

01

GPU架构基础：从图形卡到通用计算 SM · CUDA Core · Memory Hierarchy

02

内存带宽概念精讲带宽定义 · 频率×位宽 · 理论vs实际

03

内存带宽瓶颈的典型症状性能计数器异常 · 计算空闲 · 延迟隐藏失效

04

性能分析工具入门 Nsight Systems · Nsight Compute · nvidia-smi

05

Roofline模型绘制方法 · 定位带宽瓶颈

06

内存事务与合并访问 Coalesced Access 原理与示例

07

共享内存优化 Bank Conflict · Padding · 动态分配

08

寄存器与Local Memory Register Spill 检测与优化

09

常量内存与纹理内存适用场景 · 性能对比 · 使用技巧

10

内存延迟隐藏 Warp调度 · Occupancy · ILP

11

Occupancy调优 Occupancy计算器 · 实战调优

12

数据预取 (Prefetching) 软件/硬件预取 · 预取距离权衡

13

异步内存拷贝 CUDA Stream · 双缓冲技术

14

统一内存 (Unified Memory) UM机制 · 性能陷阱 · 手动管理对比

15

内存带宽的数学极限 DRAM协议 · Bank Group · Row Buffer命中

16

矩阵乘法优化案例(一) Naive实现与带宽瓶颈分析

17

矩阵乘法优化案例(二) Tiling + Shared Memory优化

18

矩阵乘法优化案例(三) 向量化加载 · 寄存器缓存

19

卷积(Convolution)带宽优化 Im2Col · Winograd · 内存布局

20

Stencil计算优化 Time Tiling · Spatial Tiling

21

Reduce(归约)带宽优化 Warp Shuffle · 原子操作 · 多阶段归约

22

稀疏计算的内存优化 CSR格式 · 半结构化稀疏 · 带宽节省

23

多GPU通信与带宽 NVLink · PCIe瓶颈 · 点对点通信

24

CPU-GPU数据传输优化 Pinned Memory · Zero-Copy · 异步传输

25

编译器与带宽优化 nvcc选项 · __restrict__ · 循环展开

26

Profiling深度分析 Nsight Compute Memory Workload

27

硬件计数器解读 DRAM读写 · L1/L2命中率

28

实际项目案例(一) 图像处理管线带宽瓶颈定位与突破

29

实际项目案例(二) 深度学习推理 · 算子融合

30

总结与最佳实践 Checklist · 常见误区 · HBM3/CXL未来

GPU内存带宽·瓶颈定位与突破