3. 硬件与网络环境规划：服务器选型、网络拓扑与机房环境
说实话，做环境大数据平台，硬件选型这块儿我踩过的坑真不少。很多人一上来就盯着CPU核数看，觉得核越多越好。其实不然。你想想看，大数据平台跑的是数据吞吐，不是单机算力。我个人的习惯是，先搞清楚你的数据长什么样，再决定买什么机器。
3.1 服务器选型：三类角色的分工
环境大数据平台里，服务器大致分三类：计算型、存储型、GPU型。这三类角色各司其职，千万别混着用。我在项目中见过有人拿存储型机器跑实时计算，结果磁盘IO成了瓶颈，CPU闲着，内存爆满——典型的资源错配。
3.4.1 计算型服务器
计算型服务器，说白了就是干活的。它负责跑Spark、Flink这些计算引擎。核心诉求是：高主频、大内存、低延迟网络。
- CPU：建议选Intel Xeon Gold系列或AMD EPYC，主频2.5GHz以上。我习惯配双路，每路16核起步。
- 内存：至少256GB，推荐512GB。环境数据里有很多时序分析任务，内存小了直接OOM。
- 磁盘：系统盘用SSD，数据盘用NVMe。别用机械盘，否则你会后悔的。
- 网络：至少万兆网卡，最好双口绑定。
3.4.2 存储型服务器
存储型服务器，负责存数据。环境数据的特点是：写入多、读取少、数据量大。比如气象站每分钟上报一次数据，一年下来就是几TB。
- 磁盘：大容量SATA SSD或HDD。我建议用HDD做冷存储，SSD做热存储。别全上SSD，成本扛不住。
- 内存：64GB-128GB就够了。存储节点不需要太多内存，因为数据主要在磁盘上。
- 网络：万兆网卡是标配。如果数据量特别大，可以考虑25G甚至100G。
3.4.3 GPU型服务器
GPU型服务器，专门跑深度学习模型。环境大数据里，比如空气质量预测、气象预报、遥感图像识别，都离不开GPU。
- GPU：NVIDIA A100或H100。如果预算有限，V100也行。我建议至少配4块卡。
- CPU：不用太强，16核就够了。GPU才是主角。
- 内存：256GB起步。GPU训练时，数据预处理很吃内存。
- 网络：必须万兆。多卡训练时，卡间通信带宽很重要。
3.2 网络拓扑设计：千兆还是万兆？
网络拓扑这块儿，我个人的经验是：别省网线的钱。环境大数据平台的数据流是实时的，网络延迟高了，整个系统就崩了。
3.2.1 千兆 vs 万兆
| 场景 | 推荐网络 | 原因 |
|---|---|---|
| 管理网络 | 千兆 | 只传心跳、监控数据，千兆够用 |
| 数据网络 | 万兆 | 数据量大，万兆才能扛住 |
| GPU集群 | 25G/100G | 多卡训练需要高带宽 |
你想想看，一个气象站每分钟上报1MB数据，1000个站就是1GB/分钟。千兆网卡理论带宽125MB/s，实际也就80MB/s左右。根本扛不住。所以，数据网络必须万兆。
3.2.2 网络拓扑结构
我习惯用Spine-Leaf（脊叶）架构。这种架构的好处是：扩展性好、延迟低、故障隔离。
你看这个图，Spine交换机负责汇聚流量，Leaf交换机连接服务器。每个Leaf都连到所有Spine，这样任意一台服务器挂了，流量还能走其他路径。我有个项目用了这个架构，三年没出过网络故障。
3.3 机房环境要求：温湿度与UPS
机房环境这事儿，很多人觉得不重要。其实不然。我见过一个机房，空调坏了没人管，温度升到40度，服务器直接宕机。数据丢了三天才恢复。嗯，那叫一个惨。
3.3.1 温湿度要求
- 温度：18-25度。GPU服务器建议控制在22度以下。
- 湿度：40%-60%。太干了容易静电，太湿了容易短路。
- 洁净度：灰尘是服务器的天敌。我建议装新风系统，定期除尘。
3.3.2 UPS（不间断电源）
UPS是机房的最后一道防线。环境大数据平台的数据是实时采集的，断电了数据就丢了。我建议这样配：
- 容量：按机房总功率的1.5倍配置。比如总功率10kW，UPS就配15kVA。
- 续航：至少30分钟。够你手动关机或者切换到备用电源。
- 类型：在线式UPS。别用后备式，切换时间太长。
3.4 硬件选型总结
好了，说了这么多，我总结一下核心要点：
- 计算型：重内存，轻磁盘。CPU够用就行。
- 存储型：重磁盘，轻CPU。网络带宽要够。
- GPU型：重显卡，轻其他。散热要跟上。
- 网络：数据网络必须万兆，管理网络千兆够用。
- 机房：温湿度、UPS、除尘，一个都不能少。
你想想看，硬件选型就像盖房子打地基。地基没打好，后面装修得再好也没用。所以，别在这上面省钱。嗯，今天就聊到这儿，下次我们聊聊软件环境怎么搭。