第1章：硬件选型与规划
做AI算力集群，说白了就是搭积木。但积木选错了，后面全白搭。
我这些年经手过好几个集群项目，从几十张卡的小规模到上千张卡的大集群，踩过的坑能写本书。今天咱们就聊聊硬件选型这个最基础、也最容易翻车的话题。
1.1 GPU选型对比：NVIDIA A100/H100/B200 vs AMD MI300X
GPU是整个集群的心脏。选错了，后面再怎么优化都白费。
核心观点：目前业界主流还是NVIDIA，但AMD MI300X在某些场景下性价比确实能打。
NVIDIA A100
A100是上一代旗舰，但说实话，现在依然能打。80GB显存，600GB/s带宽，对于大多数大模型训练来说够用。
我个人习惯把A100看作「稳妥之选」。为什么？生态太成熟了。CUDA、cuDNN、TensorRT，随便哪个框架都支持得妥妥当当。
避坑指南：我曾经遇到过客户买了A100 40GB版本，结果跑LLaMA-65B时显存不够，只能做模型并行。多花点钱上80GB版本，省心很多。
NVIDIA H100
H100是现在的当红炸子鸡。Transformer Engine专门为Transformer模型优化，FP8训练能比A100快3倍。
你想想看，同样是训练一个GPT-3级别的模型，H100能省下多少电费？
| 参数 | A100 | H100 | B200 | MI300X |
|---|---|---|---|---|
| 显存 | 80GB HBM2e | 80GB HBM3 | 192GB HBM3e | 192GB HBM3 |
| 显存带宽 | 2TB/s | 3.35TB/s | 8TB/s | 5.2TB/s |
| FP8算力 | 624 TFLOPS | 1979 TFLOPS | 4500 TFLOPS | 2610 TFLOPS |
| 功耗 | 400W | 700W | 1000W | 750W |
| 互联 | NVLink 3.0 | NVLink 4.0 | NVLink 5.0 | Infinity Fabric |
NVIDIA B200
B200是刚发布的新品，192GB显存，8TB/s带宽。说实话，我还没在实际项目中用过，但从参数看，这玩意儿就是为万亿参数模型准备的。
嗯，这里要注意：B200的功耗到了1000W，散热是个大问题。液冷基本是标配了。
AMD MI300X
MI300X是AMD的翻身之作。192GB显存，5.2TB/s带宽，参数上完全不输H100。
我去年帮一个客户做过MI300X的POC测试。在LLaMA-70B推理场景下，性能能达到H100的85%左右，但价格只有60%。
注意：AMD的ROCm生态虽然进步很大，但跟CUDA比还是有差距。有些框架的算子支持不全，需要自己写kernel。如果你团队没有底层优化能力，建议还是选NVIDIA。
1.2 CPU与内存配置
很多人只盯着GPU看，忽略了CPU和内存。其实这里也有门道。
CPU选型
我个人建议用AMD EPYC或者Intel Xeon。核心数不用太多，但PCIe通道数一定要够。
为什么？因为GPU需要直连CPU的PCIe通道。一张H100需要PCIe 5.0 x16，8张卡就是128条通道。你算算看，普通CPU根本不够用。
我的经验：AMD EPYC 9654（96核）或者Intel Xeon Platinum 8480+（56核）是比较稳妥的选择。PCIe通道数够，内存带宽也大。
内存配置
内存容量按GPU显存的2-3倍配。比如8张H100（80GB），系统内存至少配1TB。
我曾经遇到过内存配少了，训练时CPU offloading频繁触发，性能直接腰斩。嗯，这个坑我替你们踩过了。
1.3 高速网络：InfiniBand vs RoCE
网络是集群的血管。GPU之间通信慢了，再强的算力也白搭。
InfiniBand
InfiniBand是传统高性能计算的老大哥。NVIDIA自家的Mellanox方案，延迟低至1微秒，带宽400Gbps起步。
我习惯用InfiniBand做训练集群。为什么？因为AllReduce通信对延迟极其敏感，InfiniBand的RDMA机制天然适合这个场景。
RoCE
RoCE（RDMA over Converged Ethernet）是后来者。它跑在以太网上，成本低很多。
说实话，RoCE v2的延迟能做到3-5微秒，对于推理集群来说完全够用。但训练场景下，大规模AllReduce时RoCE的拥塞控制不如InfiniBand成熟。
选型建议：
- 训练集群：InfiniBand NDR400，别犹豫
- 推理集群：RoCE v2，性价比高
- 混合集群：InfiniBand做计算网络，RoCE做存储网络
1.4 存储系统：并行文件系统
存储是很多人容易忽略的瓶颈。训练数据读得慢，GPU就在那干等。
Lustre
Lustre是开源并行文件系统的老牌选手。我最早接触Lustre是在超算中心，那时候觉得这东西真难配。
但现在Lustre成熟多了。元数据服务器（MDS）和对象存储服务器（OSS）分离架构，扩展性极好。我见过最大的Lustre集群有10PB容量，带宽能到200GB/s。
配置要点：Lustre的元数据性能是瓶颈。建议用NVMe SSD做元数据存储，HDD做数据存储。我曾经见过有人全用HDD，结果ls目录都要等半天。
GPFS（IBM Storage Scale）
GPFS是IBM的商业产品，现在叫Storage Scale。它的优势在于一致性做得特别好。
我有个客户做金融AI，数据一致性要求极高，GPFS是唯一的选择。但价格嘛...嗯，你懂的。
选型对比
| 特性 | Lustre | GPFS |
|---|---|---|
| 开源/商业 | 开源 | 商业 |
| 元数据性能 | 中等（需优化） | 优秀 |
| 扩展性 | 极好 | 好 |
| 一致性 | 最终一致性 | 强一致性 |
| 成本 | 低 | 高 |
| 运维难度 | 高 | 中等 |
重要提醒：存储网络千万别跟计算网络混在一起。我见过有人图省事，把存储和训练放在同一个InfiniBand网络上，结果训练时数据加载直接把网络打爆了。
知识体系总览
下面这张图是我自己画的，把本章的核心逻辑串起来了。你看一遍就能明白各个组件之间的关系。
这张图展示了典型的AI训练集群的四层架构。数据从存储层出发，经过网络层传输到CPU内存，最终交给GPU计算。每一层都是瓶颈的潜在来源。
总结一下我的建议：
- 预算充足：H100 + InfiniBand + Lustre，性能拉满
- 性价比优先：MI300X + RoCE + GPFS，能省不少钱
- 推理场景：A100 + RoCE + 任意并行文件系统，够用就好
好了，硬件选型这块就聊到这儿。记住一句话：没有最好的硬件，只有最适合你场景的方案。
公众号:蓝海资料掘金营，微信deep3321