🚀 GPU并行计算
任务拆分与编排
📚 30章 · 从入门到实战
🧩 拆分策略
⚡ CUDA 优化
🎯 项目实战
🎓 风格
01
GPU计算概述
CPU vs GPU
发展史
AI/科学/渲染
02
CUDA编程模型
架构简介
主机/设备
核函数
线程层次
03
CUDA环境搭建
驱动安装
Toolkit
cuDNN
环境变量
04
第一个CUDA程序
Hello World
nvcc
编译运行
错误排查
05
线程层次详解
线程ID
Block/Grid
1D/2D/3D
线程束
06
内存模型基础
全局/共享
寄存器
本地/常量/纹理
07
全局内存访问
合并访问
对齐/跨步
带宽计算
08
共享内存优化
Bank冲突
__syncthreads
应用案例
09
常量内存与纹理内存
__constant__
纹理绑定
性能对比
10
流与并发执行
CUDA流
异步操作
多流并发
事件同步
11
任务拆分策略
数据/任务/流水线
混合并行
粒度选择
12
一维任务拆分
连续拆分
循环分块
负载均衡
13
二维任务拆分
矩阵拆分
Tile划分
行/列主序
14
三维任务拆分
体数据
三维网格
局部性优化
15
动态并行
子网格
递归核函数
最佳实践
16
任务编排框架
CUDA Graph
依赖管理
Graph重放
17
CUDA事件与计时
事件创建
时间测量
性能分析
18
NVIDIA Nsight工具
Nsight Systems
Compute
瓶颈定位
19
归约操作优化
树形归约
Warp Shuffle
性能对比
20
扫描操作优化
Hillis-Steele
Blelloch
高效实现
21
矩阵乘法优化
共享Tile
Bank冲突
寄存器优化
22
卷积操作优化
im2col
Winograd
cuDNN对比
23
排序算法优化
奇偶排序
双调排序
基数排序
24
图算法优化
BFS
SSSP
PageRank
图划分
25
多GPU编程
点对点通信
NCCL
任务分配
26
CUDA与Python集成
PyCUDA
CuPy
Numba CUDA
27
CUDA与深度学习框架
TensorFlow
PyTorch
自定义算子
28
性能调优方法论
Amdahl
Roofline
瓶颈分析
29
常见陷阱与调试
同步错误
内存泄漏
cuda-gdb
30
综合项目实战
端到端加速
拆分设计
部署测试