第1章
GPU计算概述
GPU与CPU的区别 · 发展历程 · 应用场景
基础概念
第2章
CUDA编程模型
CUDA架构 · 主机与设备 · 核函数 · 线程层次
核心模型
第3章
CUDA环境搭建
驱动安装 · Toolkit · cuDNN · 环境变量 · 验证
环境配置
第4章
第一个CUDA程序
Hello World核函数 · nvcc · Makefile
入门编译
第5章
线程层次详解
Grid/Block/Thread · 索引计算 · 1D/2D/3D配置
线程层次
第6章
GPU内存模型
全局/共享/寄存器/本地/常量/纹理内存
内存架构
第7章
全局内存访问
合并访问 · 内存对齐 · 访问模式优化
性能优化
第8章
共享内存应用
共享内存声明 · __syncthreads · 银行冲突 · 矩阵转置
共享同步
第9章
常量内存与纹理内存
常量内存场景 · 纹理缓存 · 只读缓存 __ldg
只读缓存
第10章
流与并发执行
CUDA流 · 异步操作 · 多流并发 · 默认流阻塞
并发流
第11章
事件与计时
CUDA事件 · 时间测量 · 同步/异步计时
性能分析
第12章
原子操作
原子函数 · 全局/共享内存原子操作 · 性能
原子同步
第13章
归约操作优化
并行归约 · warp级归约 · 展开 · 分支发散
归约优化
第14章
矩阵乘法优化
朴素实现 · 共享内存分块 · 平铺 · 向量化
矩阵优化
第15章
卷积操作实现
1D/2D卷积 · im2col · 共享内存缓存 · 边界处理
卷积视觉
第16章
并行前缀和
扫描算法 · Hillis-Steele · Blelloch · 高效实现
前缀和并行
第17章
直方图计算
原子操作 · 共享内存优化 · 多直方图 · 性能对比
直方图统计
第18章
排序算法
奇偶排序 · 双调排序 · 基数排序 · 归并排序
排序算法
第19章
稀疏矩阵计算
CSR格式 · SpMV · 负载均衡 · 行压缩
稀疏矩阵
第20章
图算法基础
BFS · 最短路径 · PageRank · warp优化
图并行
第21章
动态并行
动态并行概念 · 子核函数 · 递归 · 限制
动态递归
第22章
统一内存
统一内存概念 · 内存迁移 · 预取 · 性能分析
统一内存
第23章
CUDA库使用
cuBLAS · cuFFT · cuRAND · Thrust · cuSPARSE
库生态
第24章
性能分析工具
nvprof · Nsight Systems · Nsight Compute · 指标
工具调优
第25章
NCCL通信库
NCCL简介 · 多GPU通信 · AllReduce · Ring算法
通信多节点
第26章
多GPU编程
多GPU模型 · 点对点通信 · 负载分配 · 同步
多GPU并行
第27章
CUDA与Python
PyCUDA · Numba CUDA · CuPy · 性能对比
Python胶水
第28章
深度学习框架GPU加速
TensorFlow GPU · PyTorch CUDA · 混合精度训练
深度学习框架
第29章
GPU计算最佳实践
占用率 · 内存带宽 · 指令优化 · 编译器选项
实践技巧
第30章
GPU计算前沿
Tensor Core · 稀疏计算 · 图神经网络 · 量子模拟
前沿趋势