2、硬件架构认知:NVIDIA Quantum/ConnectX系列交换机型号、端口类型(QSFP/OSFP)、电源与风扇模块
好,咱们直接进入正题。这一章,我带大家把IB交换机的“骨架”摸清楚。说白了,就是让你拿到一台设备,能一眼认出它是谁、能插什么线、供电和散热靠什么。我见过不少新手,上来就插错光模块,或者把电源模块装反,结果设备点不亮,那叫一个尴尬。
2.1 交换机系列型号:Quantum vs. ConnectX,别搞混了
首先,你得明白一个基本概念:Quantum系列是交换机,ConnectX系列是网卡。虽然它们都叫NVIDIA,但分工完全不同。我刚开始接触时也犯过迷糊,以为ConnectX也能当交换机用,结果被老工程师笑话了半天。
Quantum系列,目前主流的有几个型号:
- QM9700 / QM9790:这是面向数据中心的高端型号,支持NDR(400Gbps)速率。我记得去年帮一个客户部署HPC集群,用的就是QM9700,那吞吐量,确实猛。
- QM8790:支持HDR(200Gbps),算是上一代的主力,但现在依然很能打。很多存量机房还在用这个。
- QM4530 / QM4520:这是EDR(100Gbps)时代的经典款,现在可能在一些边缘节点还能见到。
ConnectX系列呢,是插在服务器上的网卡。比如ConnectX-7(支持NDR)、ConnectX-6(支持HDR)。你配置交换机时,必须知道对端网卡是什么型号,否则速率协商不上。嗯,这里要注意:交换机端口速率必须与网卡匹配,否则只能降速运行。
核心记忆点:Quantum是交换机,ConnectX是网卡。交换机看端口密度和速率,网卡看接口类型和PCIe版本。
2.2 端口类型:QSFP与OSFP,你选对了吗?
端口类型,说白了就是光模块的物理接口。目前IB交换机上最常见的就是两种:QSFP(Quad Small Form-factor Pluggable)和OSFP(Octal Small Form-factor Pluggable)。
QSFP,大家都很熟悉了。它支持4个通道,每个通道25Gbps或50Gbps,所以总速率可以是100Gbps(EDR)或200Gbps(HDR)。ConnectX-6网卡用的就是QSFP56接口。
OSFP呢,是新一代的接口,支持8个通道。每个通道50Gbps,总速率就是400Gbps(NDR)。Quantum QM9700交换机上用的就是OSFP接口。我刚开始看到OSFP时,觉得它比QSFP大一圈,还担心散热问题。后来发现,人家设计时就把散热考虑进去了,功耗虽然高,但散热效率也更好。
这里有个避坑指南:QSFP和OSFP的物理尺寸不同,不能混插。我曾经见过有人想把QSFP模块硬塞进OSFP端口,结果把端口针脚弄弯了,维修费花了不少。所以,买模块前,一定先确认交换机端口类型。
| 端口类型 | 通道数 | 单通道速率 | 总速率 | 典型应用 |
|---|---|---|---|---|
| QSFP(QSFP56) | 4 | 25Gbps / 50Gbps | 100Gbps / 200Gbps | EDR / HDR 交换机、ConnectX-5/6 网卡 |
| OSFP | 8 | 50Gbps | 400Gbps | NDR 交换机(QM9700)、ConnectX-7 网卡 |
个人小技巧:如果你在部署新机房,建议直接上OSFP接口的设备。虽然现在贵一点,但未来几年内不会过时。QSFP的设备,除非是利旧,否则我不推荐再买了。
2.3 电源与风扇模块:稳定运行的基石
交换机再牛,没电也白搭。电源模块,我习惯叫它PSU(Power Supply Unit)。Quantum系列交换机通常采用1+1冗余设计,也就是两个电源模块,一个坏了,另一个能无缝接管。我记得有一次机房断电,一个PSU被浪涌打坏了,但交换机没掉线,就是因为另一个PSU在撑着。
电源模块的规格,常见的有:
- AC 100-240V:标准交流电,大部分机房都用这个。
- DC -48V:电信机房常用,如果你在IDC部署,可能会遇到。
- HVDC 240V:高压直流,效率更高,但需要配套的配电柜。
风扇模块呢,是散热的。IB交换机的功耗不低,尤其是NDR交换机,满配时功耗能到几百瓦。所以风扇设计很关键。Quantum交换机通常采用前后风道,也就是前面进风,后面出风。你安装时,一定要确保机柜的冷热通道方向与交换机风道一致。我曾经见过有人把风扇装反了,结果交换机过热降频,性能直接腰斩。
风扇模块也是支持热插拔的。你可以在设备运行时更换坏掉的风扇,不会影响业务。但要注意:更换风扇时,动作要快。因为交换机内部有温度传感器,如果某个风扇缺失时间过长,系统会自动降速或关机保护。
警告:电源模块和风扇模块都有防呆设计,插反了是插不进去的。但如果你用蛮力硬插,可能会损坏接口。所以,插不进去时,别硬来,先看看方向对不对。
2.4 知识体系结构图
下面这张图,我画了本章的核心逻辑。你可以把它当作一个快速索引,方便以后查阅。
好了,这一章的内容就这些。你把这些硬件细节吃透了,后面配置和调试时,心里就有底了。记住,硬件是基础,基础不牢,地动山摇。