2. NVSHMEM 环境搭建：CUDA 与 NVSHMEM 版本兼容性
好，咱们直接进入正题。环境搭建这事儿，说难不难，说简单吧，踩坑的人真不少。我见过不少同学，代码写得挺漂亮，结果一跑就崩，最后发现是CUDA和NVSHMEM版本没配对。嗯，咱们先把这事儿捋清楚。
2.1 CUDA 与 NVSHMEM 的版本兼容性
NVSHMEM 不是独立存在的。它依赖 CUDA 工具包。说白了，你装哪个版本的 NVSHMEM，就得配哪个版本的 CUDA。这不是闹着玩的。
我个人的习惯是：先查官方兼容性矩阵。NVSHMEM 每个版本发布时，都会明确标注支持的 CUDA 版本范围。举个例子：
| NVSHMEM 版本 | 最低 CUDA 版本 | 推荐 CUDA 版本 | 备注 |
|---|---|---|---|
| 2.8.x | 11.7 | 12.0 | 支持 Hopper 架构 |
| 2.7.x | 11.4 | 11.8 | 较稳定 |
| 2.6.x | 11.0 | 11.4 | 老项目还在用 |
我在项目中遇到过一个问题：有次升级了 CUDA 12.1，但 NVSHMEM 还是 2.6 版本。结果编译时各种符号找不到。后来一查，2.6 根本不支持 12.x 的 CUDA。所以，版本匹配是第一道坎。
2.2 编译与链接：nvcc 与 nvshmem 库
环境变量配好之后，就该编译了。NVSHMEM 的编译，说白了就是告诉 nvcc 去哪里找头文件和库文件。
最基本的编译命令长这样：
nvcc -I${NVSHMEM_HOME}/include -L${NVSHMEM_HOME}/lib -lnvshmem my_program.cu -o my_program这里有几个关键点：
-I指定头文件路径。NVSHMEM 的头文件在$NVSHMEM_HOME/include下。-L指定库文件路径。库文件在$NVSHMEM_HOME/lib下。-lnvshmem链接 NVSHMEM 动态库。
你可能会问：为什么还要链接 CUDA 的库？嗯，因为 NVSHMEM 底层调用了 CUDA 的通信原语。所以，你还需要加上：
-lcudart -lcuda -lnvidia-ml我建议你写一个 Makefile，把这些参数固定下来。不然每次敲一长串命令，手都酸了。这是我常用的模板：
NVSHMEM_HOME ?= /opt/nvshmem
CUDA_HOME ?= /usr/local/cuda
NVCC = $(CUDA_HOME)/bin/nvcc
CFLAGS = -I$(NVSHMEM_HOME)/include -I$(CUDA_HOME)/include
LDFLAGS = -L$(NVSHMEM_HOME)/lib -L$(CUDA_HOME)/lib64 -lnvshmem -lcudart -lcuda
all: my_program
my_program: my_program.cu
$(NVCC) $(CFLAGS) $(LDFLAGS) $< -o $@
clean:
rm -f my_programfind_package(NVSHMEM)。但说实话，我更喜欢 Makefile，因为更直观，出了问题好排查。
2.3 运行配置：nvshmrun 与 PMI
编译完只是第一步。怎么跑起来？NVSHMEM 程序不能直接 ./my_program 这样运行。你需要一个启动器——nvshmrun。
nvshmrun 是 NVSHMEM 自带的进程启动工具。它的作用是在多个 GPU 上拉起你的程序。基本用法：
nvshmrun -n 4 ./my_program这个命令会在 4 个 GPU 上启动 4 个进程。每个进程对应一个 PE（Processing Element）。
但这里有个关键点：nvshmrun 底层依赖 PMI（Process Management Interface）。PMI 是 MPI 世界里的标准进程管理接口。NVSHMEM 借用了这套机制。
为什么会这样？因为 NVSHMEM 需要知道：
- 总共有多少个 PE
- 当前 PE 的编号是多少
- PE 之间如何建立连接
这些信息，PMI 都能提供。所以，你运行 nvshmrun 时，它会自动调用 PMI 库来初始化环境。
我曾经在集群上部署时，遇到过 PMI 版本不匹配的问题。集群用的是 SLURM + PMIx，但 NVSHMEM 默认找的是 PMI2。结果就是进程起不来。解决办法是设置环境变量：
export NVSHMEM_REMOTE_TRANSPORT=ib
export PMI_MMAP_SYNC_WAIT_TIME=600或者，你也可以直接用 mpirun 来启动：
mpirun -np 4 ./my_program只要 MPI 实现了 PMI 接口，NVSHMEM 就能正常工作。我个人更推荐用 mpirun，因为它在集群上更通用。
- CUDA 和 NVSHMEM 版本必须匹配，查官方矩阵
- 编译时指定
-I和-L，链接-lnvshmem - 运行时用
nvshmrun或mpirun，依赖 PMI
嗯，环境搭建这部分就这些。看起来简单，但每一步都可能出问题。我的建议是：先在一个单机双卡的环境上验证通过，再上集群。这样排查问题会快很多。
好了，环境搭建就聊到这儿。记住：版本匹配是基础，编译链接是手段，运行配置是验证。每一步都走稳了，后面的开发才能顺畅。