第3章集群软件栈

3、集群软件栈：CUDA Toolkit与驱动版本管理、NVIDIA容器工具包、Kubernetes + NVIDIA Device Plugin部署

好，咱们直接进入正题。

量化交易的GPU集群，说白了就是一台台装了GPU的服务器连在一起干活。但光有硬件不行，你得让这些GPU能被调度、被使用。这中间最关键的一层，就是软件栈。

我个人习惯把这一层比作「地基」。地基不稳，上面跑什么策略都得塌。今天咱们就聊聊这个地基怎么打。

3.1 CUDA Toolkit与驱动版本管理

先说说CUDA Toolkit和驱动。这两个东西，很多人容易搞混。

驱动是操作系统和GPU硬件之间的翻译官。没有驱动，系统根本认不出GPU。

CUDA Toolkit是开发工具包，里面包含了编译器、库文件、调试工具。你写的CUDA代码，得靠它编译成GPU能执行的指令。

这里有个关键点：驱动版本和CUDA Toolkit版本不是一一对应的。驱动是向下兼容的。比如，驱动版本525.60.13，它支持CUDA 12.0及以下的所有版本。

我在项目中遇到过一个问题：团队里有人装了CUDA 11.8，有人装了CUDA 12.0，结果编译出来的程序互相不兼容。后来我们统一了驱动版本，然后让每个人在容器里指定自己的CUDA Toolkit版本。这才消停。

核心原则：

驱动版本尽量新，但不要追最新。稳定第一。
CUDA Toolkit版本根据你的框架需求来。比如PyTorch 2.0以上推荐CUDA 11.8或12.1。
驱动版本决定了你能用的CUDA Toolkit的上限。

怎么查兼容性？NVIDIA官方有个表格。我一般直接去这个页面看：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

嗯，这里要注意：千万别在生产环境里随便升级驱动。我曾经有一次，为了尝鲜，把驱动从525升到了535，结果所有正在跑的模型训练任务全部报错。回滚驱动花了我整整一个下午。教训深刻。

3.2 NVIDIA容器工具包（NVIDIA Container Toolkit）

容器化是趋势。Docker用起来方便，但默认情况下，容器里是访问不到GPU的。

NVIDIA Container Toolkit就是干这个的。它让Docker容器能直接调用宿主机的GPU资源。

说白了，它就是个「桥梁」。安装也很简单：

# 添加NVIDIA的仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

# 安装
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# 重启Docker
sudo systemctl restart docker

装完之后，跑个容器试试：

docker run --gpus all nvidia/cuda:12.0-runtime nvidia-smi

能看到GPU信息，就说明成功了。

我的经验：

在量化交易场景下，我们经常需要跑多个策略。每个策略可能依赖不同的CUDA版本。用容器就能完美隔离。你想想看，一个容器跑CUDA 11.8的策略，另一个跑CUDA 12.0的策略，互不干扰。这多省心。

但要注意一点：容器里的CUDA Toolkit版本不能高于宿主机的驱动版本。比如你宿主机驱动只支持到CUDA 11.8，那容器里就别装CUDA 12.0。否则会报错。

3.3 Kubernetes + NVIDIA Device Plugin部署

单机用Docker还行，但集群管理就不够了。这时候Kubernetes（K8s）就派上用场了。

K8s本身不知道GPU是什么东西。它需要个插件来识别和调度GPU。这个插件就是NVIDIA Device Plugin。

部署流程大概是这样的：

先装好K8s集群（这个不展开，假设你已经有了）。
在每个GPU节点上安装NVIDIA驱动和Container Toolkit。
部署NVIDIA Device Plugin。

部署Device Plugin很简单，用DaemonSet就行：

kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.0/nvidia-device-plugin.yml

装完之后，检查一下：

kubectl get pods -n kube-system | grep nvidia-device-plugin

看到Pod在Running状态，就说明部署成功了。

然后你就可以在Pod里申请GPU资源了：

apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  containers:
  - name: cuda-container
    image: nvidia/cuda:12.0-runtime
    resources:
      limits:
        nvidia.com/gpu: 1  # 申请1块GPU

避坑指南：

我曾经遇到过一个问题：明明节点上有8块GPU，但K8s只识别出4块。查了半天，发现是Device Plugin的版本和驱动版本不匹配。后来升级了Device Plugin，问题解决。

所以，版本匹配是重中之重。每次升级驱动，记得同步升级Device Plugin。

3.4 知识体系总览

为了让你更直观地理解这三层的关系，我画了张图：

这张图很直观。从下往上，一层依赖一层。硬件是基础，驱动和CUDA是桥梁，容器化让环境隔离，K8s负责统一调度。

在量化交易中，我们经常需要同时跑多个策略。有的策略用PyTorch，有的用TensorFlow，还有的用自定义CUDA代码。这套软件栈能让我们灵活地分配GPU资源，互不干扰。

我个人建议，先把驱动和CUDA Toolkit的版本管理做好。这是最底层，也是最容易出问题的地方。然后才是容器化和K8s调度。