GPU IP 系统级性能调优实战 · 课程目录

GPU架构概览 01

从图形渲染到通用计算，GPU的进化史与核心设计哲学。

性能调优基础 02

理解延迟与吞吐量，计算核心与存储墙的博弈。

内存子系统剖析 03

全局内存、共享内存、寄存器文件与缓存层级。

访存模式优化 04

合并访问、Bank Conflict与数据预取策略。

计算单元利用 05

Warp调度机制、Occupancy与指令级并行。

流水线技术 06

指令流水线、内存流水线与隐藏延迟技巧。

并行编程模型 07

SIMT架构、线程块与网格的映射关系。

同步与原子操作 08

全局同步、Block同步与Lock-Free编程。

Profiling工具实战 09

NVIDIA Nsight Systems与Nsight Compute深度使用。

性能计数器解读 10

从硬件计数器反推性能瓶颈。

内核启动优化 11

Grid/Block尺寸选择、动态并行与流。

数据搬移策略 12

Host-Device数据传输、Pinned Memory与Zero-Copy。

共享内存应用 13

矩阵转置、归约与Stencil计算的共享内存加速。

寄存器优化 14

寄存器溢出、变量生命周期与编译器优化。

指令优化 15

数学函数替换、Intrinsics与混合精度计算。

分支发散处理 16

Warp内分支、谓词执行与数据重组。

稀疏计算优化 17

稀疏矩阵存储格式、CSR与ELLPACK的GPU适配。

卷积操作优化 18

Im2Col、Winograd与cuDNN的底层原理。

矩阵乘法优化 19

Tiling、Vectorized Memory Access与Tensor Core。

Tensor Core编程 20

WMMA API、混合精度训练与推理加速。

多GPU编程 21

NCCL通信库、点对点传输与AllReduce优化。

图捕获、图执行与减少内核启动开销。

统一内存管理 23

UM的页错误机制、预取与内存迁移。

功耗与热管理 24

DVFS、功耗墙与能效比调优。

编译器优化 25

nvcc编译选项、PTX与SASS汇编级调优。

调试与验证 26

cuda-gdb、cuda-memcheck与确定性重放。

深度学习推理优化 27

TensorRT、INT8量化与层融合。

实时系统调优 28

GPU硬实时调度、优先级与抢占机制。

性能建模与预测 29

Roofline模型、性能公式与瓶颈分析。

案例实战 30

从BERT到Stable Diffusion，端到端性能调优全流程。