第1章：高通量计算平台搭建

各位同学，今天咱们聊聊高通量计算平台的搭建。说实话，这个平台是整个高通量筛选体系的「发动机」。没有它，你就算有再好的实验设计、再牛的AI模型，都跑不起来。

我最早接触这个领域时，踩过不少坑。记得有一次，我搭了个集群，结果任务调度一塌糊涂，几百个计算任务互相打架，最后全卡死了。嗯，从那以后，我对平台搭建就格外上心。

1.1 计算集群架构

先说说集群架构。说白了，就是一堆计算机连在一起干活。但怎么连、怎么分工，这里头有讲究。

我个人习惯把集群分成三层：

• 登录节点：你登录的地方，负责提交任务、管理文件。别在这上面跑计算，否则别人就登不上来了。
• 计算节点：真正干活的机器。可以几十台、几百台，每台配多核CPU或GPU。
• 存储节点：存数据的地方。用NFS或Lustre这类分布式文件系统，保证所有节点都能访问。

你想想看，如果存储跟不上，计算节点再快也没用。我在项目中遇到过，存储I/O成了瓶颈，整个集群利用率不到30%。后来换了SSD缓存，才把性能提上来。

下面这张图，是我画的典型集群架构。你看一眼就明白了。

1.2 任务调度系统（SLURM）

集群搭好了，谁来安排任务？这就是SLURM的活了。SLURM是目前最主流的任务调度器，没有之一。

它的核心逻辑就一句话：用户提交任务，SLURM分配资源，然后执行。但实际用起来，细节不少。

1.2.1 基本用法

提交一个任务，通常写个脚本。比如这样：

#!/bin/bash
#SBATCH --job-name=my_calc
#SBATCH --nodes=1
#SBATCH --ntasks=4
#SBATCH --time=01:00:00
#SBATCH --partition=compute

module load vasp
mpirun -np 4 vasp_std

这里头，--nodes指定用几台机器，--ntasks指定开几个进程，--time是最大运行时间。我建议你一开始就把时间设宽松点，否则任务超时被kill，哭都来不及。

1.2.2 避坑指南

我曾经犯过一个低级错误：在登录节点直接跑了计算程序。结果把登录节点搞崩了，全组人都登不上来。嗯，从那以后，我每次都要确认任务提交到了计算节点。

还有一次，我忘了设置--exclusive参数，结果两个任务挤在同一台机器上，互相抢内存，双双崩溃。所以，关键任务一定要独占节点。

1.3 工作流管理工具

高通量计算，任务量很大。几百个、几千个任务，手动提交？不现实。这时候就需要工作流管理工具。

我个人常用两个：AiiDA 和 FireWorks。它们各有千秋。

1.3.1 AiiDA

AiiDA 是专门为材料计算设计的。它能把计算流程、数据、 provenance（数据来源）全管起来。说白了，你跑过的每个计算，它都记得清清楚楚。

举个例子，你想批量计算不同晶格常数下的能量：

from aiida.orm import Code, StructureData
from aiida.engine import run

# 定义计算
builder = Code.get_from_string('vasp').get_builder()
builder.structure = StructureData(...)
builder.parameters = {'encut': 520, 'kpoints': [4,4,4]}

# 提交
run(builder)

AiiDA 会自动帮你管理输入输出、记录日志。我特别喜欢它的数据库功能——半年后回来查数据，还能找到当时用的什么参数。

1.3.2 FireWorks

FireWorks 更通用一些。它不限于材料计算，任何任务都能管。它的核心概念是「工作流」——你把任务串起来，它自动执行。

比如，先做结构优化，再做静态计算，最后提取数据：

from fireworks import Firework, Workflow, LaunchPad

# 定义三个任务
fw1 = Firework(OptimizeFW())
fw2 = Firework(StaticFW())
fw3 = Firework(ExtractFW())

# 串成工作流
wf = Workflow([fw1, fw2, fw3], {fw1: fw2, fw2: fw3})

# 提交
lpad = LaunchPad.from_file()
lpad.add_wf(wf)

FireWorks 的优点是灵活。你可以定义复杂的依赖关系，比如「A和B都完成后，再执行C」。我在做高通量筛选时，经常用这个功能。

1.4 平台整合实战

最后，说说怎么把这三部分整合起来。我一般按这个步骤来：

1. 搭集群：装好操作系统、网络、存储。用Ansible或Puppet自动化部署。
2. 装SLURM：配置好分区、队列、资源限制。测试一下能否正常提交任务。
3. 装工作流工具：AiiDA或FireWorks，配置好与SLURM的接口。
4. 跑测试：先跑几个小任务，确认流程通顺。再逐步增加任务量。

我记得第一次整合时，卡在SLURM和AiiDA的对接上。AiiDA提交任务时，SLURM总是报错。后来发现是环境变量没传过去。加了一行export PATH=...就解决了。这种小问题，往往最耗时间。

好了，这一章的内容就这些。高通量计算平台是基础，基础不牢，地动山摇。希望各位在实际搭建时，能少走我走过的弯路。

---

公众号:蓝海资料掘金营，微信deep3321