从算法到硬件的GPU加速全链路实战 · 课程目录

01 GPU计算概述

GPU发展简史 GPU vs CPU架构应用场景并行计算本质

01.html

02 CUDA编程模型入门

CUDA平台简介 Host & Device Kernel概念线程层次结构

02.html

03 CUDA环境搭建与工具链

NVIDIA驱动 CUDA Toolkit nvcc编译器 Nsight & VS配置

03.html

04 第一个CUDA程序：向量加法

cudaMalloc cudaMemcpy 核函数调用错误检查

04.html

05 CUDA线程模型深入

threadIdx/blockIdx 线程块大小策略 1D/2D/3D网格 Warp概念

05.html

06 CUDA内存模型

全局内存共享内存寄存器常量/纹理内存

06.html

07 共享内存与同步

__shared__ __syncthreads() bank冲突矩阵转置案例

07.html

08 CUDA流与并发

Stream概念默认/非默认流 cudaStreamSync 事件与计时

08.html

09 CUDA原子操作与互斥

atomicAdd/CAS 全局锁与互斥性能影响无锁编程技巧

09.html

10 CUDA性能优化基础

合并访问 Occupancy计算指令级并行循环展开

10.html

11 CUDA库 (cuBLAS/cuFFT/cuRAND)

cuBLAS矩阵乘法 cuFFT FFT cuRAND随机数库 vs 手写

11.html

12 深度学习框架GPU加速

TF/PyTorch后端自动混合精度AMP DataLoader加速 NCCL分布式

12.html

13 GPU虚拟化与容器化

NVIDIA Docker K8s GPU调度 MIG分区 vGPU技术

13.html

14 GPU硬件架构概览

Fermi→Hopper SM内部结构 CUDA Core & Tensor Core L1/L2/显存

14.html

15 Tensor Core与混合精度训练

Tensor Core原理 FP16/BF16/INT8 cuBLAS调用 AMP实战

15.html

16 GPU内存带宽与延迟隐藏

带宽计算 Warp调度隐藏指令发射缓存行事务

16.html

17 GPU并行模式 (Map/Reduce/Scan)

Map逐元素 Reduce归约 Scan前缀和高效实现

17.html

18 GPU矩阵乘法优化

朴素实现分块Tiling 共享内存寄存器缓存 & Tensor Core

18.html

19 GPU卷积操作优化

im2col算法 Winograd算法 cuDNN原理手写卷积Kernel

19.html

20 GPU图计算加速

CSR格式 BFS GPU实现 PageRank GPU Gunrock框架

20.html

21 GPU排序算法

并行归并排序并行基数排序 Thrust库排序 Bitonic排序

21.html

22 GPU稀疏矩阵计算

CSR/COO/ELL SpMV优化 cuSPARSE库

22.html

23 GPU与CPU异构编程

任务划分策略数据预取异步传输统一内存

23.html

24 GPU调试与性能分析

Nsight Systems Nsight Compute 性能计数器瓶颈定位

24.html

25 GPU编程数值精度

浮点数误差 Kahan求和混合精度策略数值稳定性

25.html

26 GPU在科学计算中的应用

分子动力学LAMMPS 气象WRF 有限元FEA 计算流体CFD

26.html

27 GPU在AI推理中的应用

TensorRT优化 INT8/INT4量化动态批处理多流推理

27.html

28 GPU在图形渲染中的应用

光栅化管线光线追踪RT Core DLSS技术 Vulkan与CUDA互操作

28.html

29 GPU前沿技术

CXL内存扩展 Chiplet架构存算一体量子计算协同

29.html

30 综合项目：全链路实战

需求分析算法选择 CUDA实现性能调优 & 硬件部署

30.html