2. 数据中心基础设施:服务器、存储、网络设备的基础认知,机架与布线规范

好,咱们正式开始聊数据中心里最实在的东西——硬件设备。

很多人一提到数据中心,脑子里就是“一堆机器嗡嗡转”。其实没那么玄乎。说白了,就是三大件:服务器、存储、网络设备。再加上机架怎么摆、线怎么走,这就是基础设施的全部。

我个人习惯,看一个数据中心水平怎么样,先不看它用了多贵的设备,先看它的机架和布线。嗯,细节见真章。

2.1 服务器:算力的核心

服务器是干什么的?就是跑计算、跑业务的。你想想看,不管是网页请求、数据库查询,还是AI训练,最终都要落到服务器上。

常见的服务器形态,我归纳为三种:

  • 机架式服务器:最常见,像抽屉一样插在机架里。1U、2U、4U,U数越高,空间越大,能插的卡越多。
  • 刀片式服务器:密度高,多个刀片共享电源和散热。适合大规模集群,但散热压力大。我在一个超算项目中用过,那噪音,简直了。
  • 塔式服务器:长得像台式机,一般用在边缘机房或者小企业。数据中心里很少见。

核心指标:CPU核心数、内存容量、硬盘接口(SATA/SAS/NVMe)、网卡速率(10G/25G/100G)。

别只看CPU主频,IO吞吐量往往才是瓶颈。我曾经遇到一个项目,CPU利用率不到20%,但业务卡得要死,最后发现是网卡中断分配不均。

2.2 存储:数据的归宿

存储设备,就是用来存数据的。但这里有个坑:很多人把服务器本地硬盘和存储设备混为一谈。

数据中心里的存储,通常指集中式存储分布式存储

  • 集中式存储:比如SAN(存储区域网络)和NAS(网络附加存储)。所有服务器通过光纤或以太网连到一台存储阵列上。优点是管理方便,性能稳定。缺点是贵,而且有单点风险。
  • 分布式存储:比如Ceph、MinIO。把多台服务器的本地硬盘组合成一个统一的存储池。我建议,如果集群规模超过50台,分布式存储的性价比优势就出来了。

避坑指南:我曾经在规划存储网络时,为了省钱用了千兆以太网做iSCSI。结果业务一上线,IO延迟直接飙到100ms以上。后来全部换成25G RoCE v2,问题才解决。记住:存储网络,永远不要省带宽

2.3 网络设备:连接的纽带

网络设备把服务器和存储串起来。核心设备就三种:

  • 交换机:数据中心的核心。分为接入层、汇聚层、核心层。速率从10G到400G不等。
  • 路由器:连接不同网络,比如数据中心和互联网。
  • 防火墙/负载均衡器:安全防护和流量分发。

这里有个关键点:网络架构设计。传统的是三层架构(接入-汇聚-核心),现在流行Spine-Leaf(脊叶)架构。为什么?因为东西向流量(服务器之间通信)越来越大,Spine-Leaf能提供无阻塞的带宽。

注意:交换机端口类型要分清。SFP+(10G)、SFP28(25G)、QSFP+(40G)、QSFP28(100G)。别买错了光模块,不通用。我见过有人把25G光模块插到10G端口上,结果协商失败,排查了半天。

2.4 机架与布线规范

这部分,是数据中心里最容易被忽视,但最能体现功力的地方。

2.4.1 机架规范

标准机架宽度是19英寸,高度42U(约2米)。但实际部署时,有几个要点:

  • 承重:机架底部要加固。一台满配的服务器机架,重量轻松超过500公斤。我曾经见过一个机架因为没固定好,往前倾倒,差点砸到人。
  • 散热:冷热通道隔离。机架正面朝冷通道,背面朝热通道。别把冷热风混在一起,否则空调再大也没用。
  • PDU(电源分配单元):每个机架至少配两个PDU,分别接不同的UPS(不间断电源)。A路和B路要物理隔离。

2.4.2 布线规范

布线乱,运维累。我总结了几条铁律:

  • 上走线 vs 下走线:现在主流是上走线(桥架在机架顶部)。方便维护,也不影响地板下送风。
  • 光纤 vs 铜缆:距离超过10米,或者速率超过25G,优先用光纤。铜缆太重,而且信号衰减快。
  • 标签规范:每一根线两端都要贴标签。格式建议:机架号-设备名-端口号。别偷懒,否则以后查线查到哭。
  • 理线器:每隔1U装一个理线器,把线整理好。别让线垂下来挡住风扇进风口。

我的经验:布线时,预留10%-20%的冗余端口。业务扩张是必然的,到时候再穿线,成本高、风险大。另外,光纤弯曲半径不能小于10倍直径,否则光损耗会急剧增加。

2.5 知识体系结构图

下面这张图,把本章的核心逻辑串起来了。你可以看到,服务器、存储、网络是三大支柱,而机架和布线是承载它们的骨架。

数据中心基础设施知识体系 数据中心基础设施 服务器 存储 网络设备 机架式 / 刀片式 / 塔式 CPU / 内存 / IO 集中式 (SAN/NAS) 分布式 (Ceph/MinIO) 交换机 / 路由器 / 防火墙 Spine-Leaf 架构 机架与布线规范 承重 / 散热 / PDU 上走线 / 光纤 / 标签

2.6 小结

这一章,我们把数据中心最基础的硬件过了一遍。服务器、存储、网络,这三者缺一不可。而机架和布线,是让它们协同工作的骨架。

记住一句话:好的基础设施,是看不见的。因为它从不掉链子。

嗯,下次你走进数据中心,别光看机器多不多。蹲下来,看看机架底部的走线,看看标签贴得规不规范。这些细节,才是一个架构师真正该关注的地方。

个人建议:如果你刚开始接触数据中心,别急着学那些高大上的SDN、NVMe over Fabrics。先把服务器怎么上架、网线怎么打、光纤怎么熔接搞清楚。基础不牢,地动山摇。

专注资料整理