GPU计算单元与线程调度入门

📚 共计 30 章节

GPU的前世今生：从图形卡到通用计算巨人

从图形渲染到科学计算，GPU的进化之路

GPU架构核心：流式多处理器（SM）的内部世界

SM构成、调度与指令分发

CUDA核心与Tensor Core：计算单元的家族图谱

不同计算单元的分工与矩阵加速

线程的诞生：从Grid到Block再到Thread的层级结构

线程层次与索引映射

线程束（Warp）：GPU调度的最小原子单位

Warp形成、调度与发散

SIMT执行模型：单指令多线程的魔法

SIMT vs SIMD，线程掩码

线程调度器：如何让数千个核心忙起来

调度策略、占用率与延迟隐藏

分支发散：当线程走不同的路时会发生什么

分支预测与性能惩罚

共享内存：线程间的快速通信通道

Bank冲突、分配与同步

共享内存优化

同步机制：__syncthreads()的妙用与陷阱

块内同步、死锁与内存可见性

全局内存访问模式：合并访问的艺术

对齐、连续与广播

常量内存与纹理内存：只读数据的优化存储

缓存特性与适用场景

寄存器压力：每个线程的私有金库

寄存器分配、溢出与占用率

寄存器优化

本地内存：当寄存器不够用时的备胎

本地内存与全局内存的关系

本地内存溢出

内存层级全景图：从片内到片外的速度阶梯

寄存器、共享、全局、常量、纹理

Occupancy：如何填满SM的计算槽位

占用率计算与资源权衡

Launch Bounds：限制线程数以提升性能

__launch_bounds__ 与 maxThreadsPerBlock

动态并行：GPU自己启动自己的递归能力

嵌套内核与递归

流（Stream）：任务并行的流水线技术

多流并发与依赖

事件（Event）：精确测量GPU时间的工具

cudaEvent 时间戳与同步

异步操作与回调：CPU与GPU的协作舞步

异步拷贝、回调函数

MPS（多进程服务）：多进程共享GPU的解决方案

MPS 架构与隔离

MIG（多实例GPU）：A100/H100的硬件分区技术

MIG 分区与资源隔离

Warp Shuffle：寄存器级别的数据交换

shfl 指令与归约

Shuffle寄存器

矩阵乘法优化：从朴素到极致

tiling、共享内存、向量化

归约（Reduction）算法：并行求和的艺术

树形归约、warp归约

直方图计算：原子操作的实战应用

原子加、共享内存直方图

原子直方图

稀疏计算：处理零值的高效策略

稀疏矩阵、结构化稀疏

图并行：GNN在GPU上的加速实现

图神经网络、消息传递

GPU性能调优工具：NVIDIA Nsight与Profiler实战

Nsight Systems、Nsight Compute