第三章：IB核心硬件：HCA网卡、IB交换机、线缆选型指南
兄弟们，咱们今天聊聊IB网络里的“铁家伙”。
说白了，InfiniBand网络就三样东西：HCA网卡、IB交换机、线缆。这三样选不对，你GPU集群再牛也跑不起来。我见过太多项目，光顾着看GPU型号，结果网络成了瓶颈，训练效率直接腰斩。
嗯，咱们一个一个说。
3.1 HCA网卡：GPU的“嘴巴”
HCA，全称Host Channel Adapter。你可以把它理解成GPU和网络之间的“翻译官”。GPU算完的数据，得靠它打包发出去。
3.1.1 关键参数
- 速率：目前主流是HDR（200Gbps）和NDR（400Gbps）。我个人建议，新项目直接上NDR。别省那点钱，后面带宽不够你哭都来不及。
- PCIe版本：HCA卡插在服务器里，走的是PCIe通道。NDR 400G的卡，必须配PCIe 5.0 x16。我遇到过有人拿PCIe 4.0的槽插NDR卡，结果速率跑不满，查了半天才发现是接口瓶颈。
- 端口数：单端口、双端口。双端口卡可以做冗余，也可以做带宽聚合。我个人习惯，关键节点用双端口，普通节点单端口够用。
选型口诀：GPU代数决定HCA代数。A100配HDR，H100/B200配NDR。别跨代，跨代就是浪费钱。
3.1.2 避坑指南
我曾经在一个项目中，客户买了NDR HCA卡，但服务器PCIe插槽是4.0的。结果卡只能跑一半带宽。嗯，这坑我踩过，你们别踩了。
3.2 IB交换机：网络的“心脏”
交换机是整个IB网络的枢纽。数据怎么走，全靠它调度。
3.2.1 交换机类型
| 类型 | 典型型号 | 适用场景 |
|---|---|---|
| Leaf（叶交换机） | QM9700（NDR）、QM8790（HDR） | 连接GPU服务器，通常放在机柜顶部 |
| Spine（脊交换机） | QM9790（NDR）、QM8890（HDR） | 连接Leaf交换机，构成Fat-Tree拓扑 |
你想想看，一个GPU集群少则几十台，多则上千台。交换机选不对，网络延迟直接爆炸。
3.2.2 端口密度与速率
- 端口密度：NDR交换机通常提供32口或64口。我个人建议，尽量选高密度端口，方便后期扩容。
- 速率：NDR单端口400G，HDR单端口200G。交换机内部背板带宽必须大于所有端口速率之和，否则会丢包。
小技巧：选交换机时，一定要看它的“无阻塞带宽”参数。有些厂商虚标，实际跑起来就露馅了。
3.3 线缆：网络的“血管”
线缆这东西，看着不起眼，但出问题最头疼。我见过因为一根线缆没插紧，导致整个集群训练中断的。
3.3.1 铜缆（DAC）
- 特点：便宜、功耗低、即插即用。
- 缺点：传输距离短，一般不超过5米。
- 适用场景：机柜内部，服务器到Leaf交换机。
3.3.2 光缆（AOC/有源光缆）
- 特点：传输距离远（10米到100米），抗干扰强。
- 缺点：贵，比铜缆贵2-3倍。
- 适用场景：跨机柜、跨机房的连接。
3.3.3 选型对比
| 类型 | 最大距离 | 成本 | 功耗 | 推荐场景 |
|---|---|---|---|---|
| 铜缆（DAC） | 5米 | 低 | 低 | 机柜内连接 |
| 有源光缆（AOC） | 100米 | 中 | 中 | 跨机柜连接 |
| 光模块+光纤 | 10公里+ | 高 | 高 | 跨机房/数据中心 |
注意：NDR 400G的线缆，必须用OSFP或QSFP-DD接口。别买错了，接口不匹配插不进去。
3.4 知识体系结构图
下面这张图，帮你理清IB核心硬件的选型逻辑：
3.5 实战选型建议
好了，理论说完了，咱们来点实际的。假设你现在要搭建一个8台H100 GPU服务器的集群：
- HCA网卡：每台服务器配1块NDR 400G双端口HCA卡。为什么双端口？因为可以做冗余，万一一个端口挂了，另一个还能顶上去。
- 交换机：配1台QM9700 32口NDR交换机作为Leaf。8台服务器占16个端口（每台2口），剩下16个端口留给Spine或扩容。
- 线缆：机柜内用3米铜缆DAC，便宜又稳定。如果服务器和交换机不在同一个机柜，用10米有源光缆AOC。
我的经验：线缆长度宁长勿短。短了够不着，长了可以盘起来。但别盘太紧，会影响信号质量。
3.6 最后说两句
IB硬件选型，说白了就是“匹配”二字。GPU、HCA、交换机、线缆，四者必须匹配。任何一个环节掉链子，整个集群的性能都受影响。
嗯，我记得有一次，一个客户非要省钱，用HDR的HCA卡配NDR的交换机。结果呢？交换机端口只能降速到HDR，白白浪费了交换机的性能。你说亏不亏？
所以，我的建议是：一步到位，别凑合。硬件选好了，后面运维能省一半的心。