3、RoCE网络硬件选型：从网卡到线缆的实战指南
聊到RoCE网络落地，硬件选型是绕不开的第一道坎。我见过不少团队，协议栈调得漂漂亮亮，结果网卡不支持、交换机丢包、光模块过热——全白搭。说白了，硬件选型决定了你的RoCE网络能跑多稳、多快。
这一章，我带你过一遍核心硬件：网卡、交换机、线缆与光模块。每个环节我都会结合自己的踩坑经验来讲。
3.1 支持RoCE的网卡选型
网卡是RoCE的起点。你想想看，数据要从应用层一路压到物理层，网卡必须能高效处理RDMA语义。目前主流的三家：Mellanox（现NVIDIA）、Chelsio、Broadcom。我个人的排序是：Mellanox > Broadcom > Chelsio。
3.1.1 Mellanox ConnectX系列
这是业界事实标准。我最早接触RoCE v2就是在ConnectX-4上，那时候还叫Mellanox。现在ConnectX-6、ConnectX-7已经非常成熟。
- ConnectX-4 Lx：25Gbps，支持RoCE v2，适合入门级
- ConnectX-5：25/50/100Gbps，支持DCQCN，我项目里用得最多
- ConnectX-6 Dx：100/200Gbps，内置拥塞控制硬件加速
- ConnectX-7：400Gbps，支持自适应路由
核心优势：Mellanox的网卡对RoCE的支持最完整。DCQCN、ECN标记、PFC优先级映射，这些功能在驱动层面就给你配好了。我习惯用mlxconfig工具来调参，非常方便。
我的经验：ConnectX-5在25G环境下跑RoCE v2，延迟能压到1.5微秒以内。但要注意固件版本——我曾经因为固件太旧，导致ECN标记不生效，排查了两天。
3.1.2 Chelsio T6/T7系列
Chelsio走的是另一条路——他们把TOE（TCP卸载引擎）和RDMA做在一起。说实话，性能不差，但生态不如Mellanox。
- T6：25/40/100Gbps，支持iWARP和RoCE
- T7：100/200Gbps，支持RoCE v2
我个人不太推荐Chelsio做RoCE主力。为什么？因为它的驱动和Mellanox比，社区支持差一截。你遇到问题，搜半天可能找不到答案。我在一个金融客户那里用过T6，稳定性还行，但调优文档太少。
3.1.3 Broadcom NetXtreme系列
Broadcom的网卡在服务器OEM市场占有率很高。NetXtreme E系列（如BCM57504）支持RoCE v2，但功能集偏基础。
- BCM57504：100Gbps，支持PFC和ECN
- BCM57508：200Gbps，支持自适应路由
避坑指南：我曾经在Broadcom网卡上遇到过PFC死锁问题。原因是它的优先级队列映射和交换机不匹配。解决方案是统一使用IEEE 802.1p优先级3作为RoCE流量。
3.2 支持PFC/ECN的交换机选型
交换机是RoCE网络的中枢。没有PFC和ECN，RoCE就是空中楼阁。我选交换机时，最看重三点：缓冲区大小、ECN配置灵活性、PFC的稳定性。
3.2.1 为什么需要PFC和ECN？
RoCE v2本质上是无丢包以太网。但以太网天生会丢包——缓冲区满了就丢。PFC（优先级流控）可以按优先级暂停发送端，防止丢包。ECN（显式拥塞通知）则在交换机检测到拥塞时，标记数据包，让接收端通知发送端降速。
说白了，PFC是「刹车」，ECN是「预警」。两者配合，才能让RoCE跑得稳。
3.2.2 主流交换机品牌对比
| 品牌 | 系列 | PFC支持 | ECN支持 | 缓冲区大小 | 我的评价 |
|---|---|---|---|---|---|
| Mellanox（NVIDIA） | Spectrum-2/3 | 全系支持 | 全系支持，可精细调参 | 16MB-32MB | 首选，生态最完整 |
| Cisco | Nexus 9000系列 | 支持 | 支持，但配置复杂 | 8MB-16MB | 适合已有Cisco环境 |
| Juniper | QFX系列 | 支持 | 支持 | 8MB-12MB | 稳定性好，但调优门槛高 |
| 华为 | CloudEngine系列 | 支持 | 支持 | 16MB-32MB | 性价比不错，国内项目常见 |
我的建议：如果你从零搭建RoCE网络，直接选Mellanox Spectrum系列。它和ConnectX网卡是同一家，配置起来最省心。我做过一个项目，用Spectrum-2 + ConnectX-5，ECN阈值调好后，零丢包跑了半年。
3.2.3 ECN配置要点
ECN配置是门手艺活。我习惯这样调：
# 以Mellanox Spectrum为例
mlnx_qos -i eth0 --ecn 1 --ecn_threshold 100000 200000
这里的100000 200000是ECN的最小和最大阈值（单位：字节）。太小了容易误判拥塞，太大了又起不到作用。我一般从100000 300000开始试，然后根据实际流量微调。
避坑指南：我曾经在一个高吞吐场景下，ECN阈值设得太低，导致发送端频繁降速，吞吐量掉了30%。后来把阈值翻了一倍，问题解决。记住：ECN不是越灵敏越好。
3.3 线缆与光模块选择
线缆和光模块看似不起眼，但往往是故障高发区。我见过太多「网卡和交换机都支持RoCE，但就是跑不起来」的案例，最后发现是光模块不兼容。
3.3.1 线缆类型
- DAC（直连铜缆）：短距离（≤5米），成本低，功耗小。适合机柜内互联。我习惯用DAC做TOR到服务器的连接。
- AOC（有源光缆）：中距离（≤100米），比DAC轻，抗干扰好。适合跨机柜。
- 光模块+光纤：长距离（≤10公里），灵活但成本高。适合跨机房。
3.3.2 光模块选型
| 速率 | 光模块类型 | 传输距离 | 适用场景 |
|---|---|---|---|
| 25G | SFP28 SR/LR | 100m/10km | 接入层 |
| 100G | QSFP28 SR4/LR4 | 100m/10km | 汇聚层 |
| 200G/400G | QSFP56/QSFP-DD | 100m/2km | 核心层 |
重要提醒：光模块必须和网卡/交换机兼容。我建议统一采购同一品牌的光模块。混用不同品牌，经常出现链路协商失败。我曾经被一个第三方光模块坑过——插上去能亮灯，但RoCE流量一上来就丢包。
3.3.3 线缆选型实战建议
我个人习惯这样选：
- 机柜内（≤3米）：用DAC，便宜又稳定
- 跨机柜（3-30米）：用AOC，轻便好布线
- 跨机房（>30米）：用单模光纤+LR光模块
嗯，这里要注意：DAC虽然便宜，但弯折半径不能太小。我见过有人把DAC折成90度，结果信号直接断了。
3.4 本章知识体系总览
下面这张图，我把RoCE硬件选型的核心逻辑画出来了。你看一眼就能明白：网卡、交换机、线缆三者如何配合。
总结一下：RoCE硬件选型，网卡看Mellanox，交换机看PFC/ECN支持，线缆看距离和兼容性。我个人的经验是——别在硬件上省钱，否则后面调优的时间成本远高于硬件差价。
最后一句：选型时多花一天做兼容性测试，能省下后面一个月的排障时间。我吃过这个亏，希望你不用再吃。
公众号:蓝海资料掘金营，微信deep3321