GPU并行计算模型与模式入门

📚 共计 30 章节

GPU计算概述

GPU与CPU的区别 · GPU发展简史 · 科学计算中的角色

CUDA编程模型入门

CUDA架构 · 主机与设备 · 核函数 · 线程层次

CUDA环境搭建

NVIDIA驱动 · CUDA Toolkit · cuDNN · 环境验证

第一个CUDA程序

Hello World核函数 · 编译运行 · <<<>>>语法 · 错误处理

线程索引 · 块与网格 · 1D/2D/3D组织 · 线程束

内存模型概述

全局/共享/寄存器/本地/常量/纹理内存

全局内存访问

读写模式 · 合并访问 · 内存对齐 · 带宽测试

声明与使用 · __syncthreads · 银行冲突 · 优化

常量内存与纹理内存

使用场景 · 纹理缓存 · 只读缓存

CUDA流 · 默认/非默认流 · 同步 · 多流并发

事件与计时

事件创建/销毁 · 记录事件 · 执行时间 · 最佳实践

原子函数 · 全局/共享内存原子操作 · 性能考量

并行归约 · 树形归约 · 线程束洗牌 · 优化技巧

前缀和 · Kogge-Stone · Blelloch · 应用场景

基础实现 · 分块 · 共享内存优化 · 寄存器优化

核心线性代数

1D/2D卷积 · 共享内存缓存 · im2col方法

奇偶排序 · 双调排序 · 基数排序 · 归并排序

BFS · 单源最短路径 · PageRank · 图遍历优化

并行动态规划 · LCS · 背包问题 · 流水线并行

稀疏矩阵计算

CSR/COO格式 · SpMV · 性能优化

cuBLAS · cuFFT · cuRAND · Thrust

多GPU检测 · 点对点通信 · 多GPU归约 · 负载均衡

PyCUDA · Numba CUDA · CuPy · 性能对比

Python互操作

性能分析与调优

Nsight · Visual Profiler · 占用率 · 带宽分析

CUDA与深度学习

cuDNN · Tensor Core · 混合精度 · 推理优化

平台模型 · 执行模型 · 内存模型 · 与CUDA对比

跨平台标准

GPU虚拟化与云计算

虚拟化技术 · Docker GPU · K8s调度 · 云GPU

GPU编程最佳实践

代码优化 · 内存访问 · 指令优化 · 分支发散

常见错误与调试

错误码 · cuda-memcheck · 同步错误 · 瓶颈定位

GPU计算前沿

异构计算 · GPU+AI · 量子模拟 · 未来架构