多GPU集群通信核心概念与NVSHMEM定位

01

课程导论演进

为什么需要多GPU？从单卡到集群的演进，课程目标与学习路径。

02

GPU架构基础CUDA

CUDA核心与SM、内存层次结构（Global/Shared/Register）、PCIe与NVLink互联。

03

多GPU编程模型SPMD

单进程多线程（SPMD）、多进程多GPU、CUDA Stream与Event同步。

04

集群网络拓扑拓扑

节点内（NVSwitch）与节点间（InfiniBand/RoCE）拓扑，胖树与Dragonfly结构。

05

集合通信原语数学

AllReduce、AllGather、ReduceScatter、Broadcast的数学定义与实现。

06

Ring AllReduce算法最优

分步拆解（Scatter-Reduce + AllGather），带宽最优性证明。

07

Tree AllReduce & Recursive对比

树形拓扑的优缺点，对比Ring算法。

08

通信库对比NCCL/MPI/GLOO

NCCL、MPI、GLOO的架构差异与适用场景，性能基准测试解读。

09

NCCL深入拓扑感知

NCCL Unique ID、Comm初始化、拓扑感知与NVLink/NVSwitch优化。

10

MPI for GPUCUDA-Aware

CUDA-Aware MPI、MPI_Init与GPU绑定、MPI_Allreduce的GPU实现。

11

通信与计算重叠流水线

CUDA Graph、Stream优先级、异步通信与Kernel Launch的流水线设计。

12

性能模型Amdahl

Bus带宽、算法带宽、强扩展与弱扩展、Amdahl定律在通信中的体现。

13

通信瓶颈分析拥塞

PCIe带宽瓶颈、NVLink带宽利用率、网络拥塞与Tail Latency。

14

NVSHMEM定位PGAS

什么是Partitioned Global Address Space (PGAS)？NVSHMEM在生态中的位置。

15

NVSHMEM基础概念PE/Symmetric

PE、Symmetric Heap、Put/Get操作、Fence与Quiet语义。

16

NVSHMEM编程模型SPMD

SPMD启动、PE间数据移动、同步原语（Barrier/Sync）。

17

NVSHMEM vs NCCL对比

API风格差异、适用场景（点对点vs集合）、延迟与带宽权衡。

18

NVSHMEM高级特性Atomic/Signal

Atomic操作、Signal操作、Team与Subgroup划分。

19

NVSHMEM+Stream集成

Stream-Ordered Put/Get、多Stream并发与依赖管理。

20

NVSHMEM性能优化对齐

Symmetric Heap对齐、减少Fence开销、利用NVLink Direct Access。

21

集群部署实践DGX/HGX

NVIDIA DGX与HGX架构、NVSwitch配置、InfiniBand子网管理器设置。

22

网络协议栈RDMA

RDMA、GPUDirect RDMA、GDRCopy、NVIDIA Magnum IO软件栈。

23

集合通信调优环境变量

NCCL环境变量（NCCL_ALGO、NCCL_PROTO、NCCL_NTHREADS）、NVSHMEM调优参数。

24

故障排查Debug

NCCL Debug日志、NVSHMEM错误码、网络丢包与超时处理。

25

大规模训练案例GPT/BERT

GPT/BERT训练中的通信模式、3D并行（DP+TP+PP）与通信拓扑。

26

通信库选择决策树决策

根据模型大小、集群规模、硬件拓扑选择NCCL/MPI/NVSHMEM。

27

未来趋势CXL/UEC

NVLink-C2C、CXL互连、UEC（Ultra Ethernet Consortium）对通信的影响。

28

动手实验1 · NCCL AllReduce代码

使用NCCL编写AllReduce程序，对比Ring与Tree算法性能。

29

动手实验2 · NVSHMEM流水线Put/Get

使用NVSHMEM实现点对点流水线，测量Put/Get延迟与带宽。

30

课程总结回顾

关键概念回顾、常见误区、进阶学习资源推荐。

📡 多GPU集群通信 · NVSHMEM