NVSHMEM 光晕交换 · 课程目录

光晕交换概述什么是光晕交换？典型应用场景 (有限差分, 图像处理)

NVSHMEM 基础回顾对称内存 & PE 概念，基本 put/get 操作

一维光晕交换 (左右邻居)NVSHMEM 实现一维数组左右邻居交换，代码讲解

二维光晕交换 (上下左右)二维网格四个方向数据交换

性能分析与优化带宽利用率、减少同步、原子操作与信号量异步交换

NVSHMEM 与 CUDA 混合编程在 CUDA kernel 中调用 NVSHMEM 函数

多维度与复杂拓扑三维光晕交换、非规则邻居 (三角形网格)

大规模集群部署多节点 NVSHMEM 配置、扩展性挑战

调试与 ProfilingNVSHMEM 调试工具、NVIDIA Nsight Systems 分析

实战案例：2D 波动方程基于 NVSHMEM 的 2D 波动方程模拟

光晕交换的变体非阻塞光晕交换、重叠计算与通信

集合操作在光晕交换中的应用broadcast / collect 简化数据分发

内存模型与数据一致性内存序、fence 操作的重要性

动态光晕区域根据计算负载动态调整光晕大小

混合精度光晕交换FP16/INT8 减少通信量

光晕交换与负载均衡非均匀网格中平衡通信与计算

NVSHMEM 与 MPI 对比两种编程模型实现差异与性能对比

使用 Team 机制子通信组内进行光晕交换

光晕交换的容错设计节点故障时的数据恢复策略

GPU 直通与 NVLink 优化利用 NVLink 加速 GPU 间光晕交换

流水线技术大块数据分割，通信与计算流水

Stencil 计算优化结合光晕交换优化 stencil 性能

自动调优根据硬件拓扑自动选择最优策略

NVSHMEM 与 cuFFT 结合FFT 计算中利用光晕交换处理边界

深度学习中的应用分布式训练处理特征图边界

信号量实现生产者-消费者NVSHMEM 信号量模式的光晕交换

带宽优化数据压缩、聚合与重排

对称内存池管理高效管理光晕缓冲区

数学库支持cuBLAS / cuSOLVER 中光晕交换相关函数

未来趋势NVSHMEM 新特性、CXL 互连影响