📘 NVSHMEM 全攻略
🎯 30章 · 性能调优与基准测试
1
NVSHMEM 概述
什么是NVSHMEM
与SHMEM关系
通信模式
2
环境搭建
安装配置
CUDA/驱动
编译检查
3
编程模型
对称内存
PE通信
集合操作
4
性能指标
延迟/带宽
消息速率
吞吐量
5
基准测试工具
自带Benchmark
OSU Micro
自定义微基准
6
点对点通信调优
Put/Get延迟
流控与缓冲区
NUMA亲和性
7
集合操作调优
Allreduce/Barrier
树形vs环形
算法选择
8
内存与显存管理
对称内存分配
显存池化
注册固定
9
网络拓扑感知
GPU/网卡拓扑
NVLink+IB
拓扑调度
10
多进程与多线程
MPI+NVSHMEM
CUDA Stream
线程安全
11
Profiling与性能分析
Nsight Systems
事件追踪
瓶颈定位
12
内核启动与同步开销
内核启动延迟
Barrier开销
异步重叠
13
消息聚合与分片
大消息拆分
小消息聚合
动态适配
14
流水线与异步通信
双缓冲/多缓冲
异步Put/Get
Completion
15
GPU Direct P2P与RDMA
P2P配置
RDMA集成
跨节点优化
16
多节点集群调优
拓扑路由
跨交换机
多Rail绑定
17
内存带宽与延迟权衡
显存带宽
延迟隐藏
计算通信重叠
18
错误处理与调试
常见错误
调试工具
性能回退
19
高级特性
NVSHMEM 3.0
动态PE
非对称内存
20
案例1：深度学习数据并行
Allreduce调优
数据并行
21
案例2：科学计算Stencil
Stencil通信
优化模式
22
案例3：图计算负载均衡
动态负载均衡
图计算
23
案例4：实时信号处理
低延迟通信
信号处理
24
案例5：分子动力学模拟
通信模式
大规模模拟
25
性能建模与预测
通信成本模型
Roofline
性能上界
26
自动调优框架
Auto-tuning
参数搜索
ML辅助
27
容器化与云环境
Docker/K8s
云GPU网络
弹性伸缩
28
与其他通信库对比
vs MPI
vs NCCL
选型建议
29
未来趋势
CXL/DPU
异构演进
30
综合实战
基准测试套件
自动化报告
持续监控