第1章：RoCE网络核心组件——交换机选型与网卡配置
大家好，我是老张。在数据中心摸爬滚打了十几年，今天咱们聊聊RoCE网络的核心组件。说实话，很多人一上来就问我：“RoCE到底怎么配？”其实啊，选对硬件才是第一步。硬件选错了，后面再怎么调优都是白搭。
我个人习惯把RoCE网络拆成三块来看：交换机、网卡、还有固件驱动。这三者缺一不可。今天咱们就一个一个过。
1.1 支持RoCE的交换机选型
交换机是RoCE网络的骨架。你想想看，数据从网卡发出来，第一站就是交换机。如果交换机不支持RoCE的流控机制，那丢包率直接起飞。
目前主流的三家：NVIDIA/Mellanox、华为、Arista。我分别说说我的看法。
NVIDIA/Mellanox
这是RoCE的老牌玩家了。Mellanox的交换机，说白了就是为RoCE量身定做的。它们家的Spectrum系列，从1代到4代，我都用过。最让我印象深刻的是它的自适应路由功能。我在一个AI训练集群里遇到过，流量一上来，普通交换机就开始丢包，但Mellanox的交换机硬是扛住了，零丢包。
- 支持DCQCN（数据中心量化拥塞通知）
- 硬件级别的PFC（优先级流控）
- 自适应路由，减少哈希冲突
华为
华为的CloudEngine系列，这几年在RoCE领域进步很快。我记得有一次帮客户做POC，华为的CE16800系列，配合他们自家的iLossless算法，效果出奇的好。不过要注意，华为的配置命令和Mellanox不太一样，如果你习惯了Cisco风格，刚开始可能会有点别扭。
Arista
Arista的交换机，我个人觉得是“万金油”。它们家的EOS系统，对RoCE的支持也很成熟。特别是延迟控制方面，Arista做得相当细腻。我在一个金融交易场景里用过，延迟稳定在1微秒以内，非常稳。
| 品牌 | 核心优势 | 适用场景 |
|---|---|---|
| NVIDIA/Mellanox | 原生RoCE支持，自适应路由 | AI训练、HPC |
| 华为 | iLossless算法，国产化需求 | 政企、运营商 |
| Arista | 低延迟，EOS系统灵活 | 金融、高频交易 |
1.2 智能网卡：ConnectX系列与BlueField DPU
网卡是RoCE的起点。没有好的网卡，交换机再好也没用。目前市面上最主流的，就是NVIDIA的ConnectX系列和BlueField DPU。
ConnectX系列
ConnectX-5、ConnectX-6、ConnectX-7，我都用过。说实话，从5到7，性能翻了好几倍。但最让我感慨的是，很多人买了ConnectX-7，却只当普通网卡用，RoCE功能根本没开。这太浪费了。
ConnectX系列的核心能力：
- 硬件卸载RoCEv2，不占用CPU
- 支持GPUDirect RDMA，GPU之间直接通信
- 内置拥塞控制算法
BlueField DPU
BlueField DPU，说白了就是“网卡+CPU+加速器”三合一。我去年在一个超大规模数据中心里，用BlueField-2做存储卸载，效果非常好。它可以把存储协议处理全部卸载到DPU上，主机CPU几乎零负担。
不过，BlueField的配置比普通网卡复杂得多。你需要同时管理网卡固件、DPU操作系统、还有主机驱动。嗯，这里要注意，DPU的OS是独立的，别和主机搞混了。
1.3 RoCE网卡固件与驱动配置
硬件选好了，接下来就是固件和驱动。这一步很多人觉得简单，其实最容易出问题。
固件配置
我个人习惯，拿到新网卡的第一件事，就是升级固件到最新版本。为什么？因为很多RoCE的bug，都是在新固件里修复的。比如ConnectX-6早期固件，在特定条件下会触发PFC死锁，升级后就解决了。
固件配置的关键参数：
- RoCE模式： 必须设置为“RoCEv2”，别用RoCEv1，因为v1不能跨三层网络。
- MTU： 建议设置为9000（巨型帧），能显著提升吞吐量。
- PFC优先级： 通常设置为3或4，要和交换机保持一致。
# 查看当前固件版本
mlxfwmanager --query
# 升级固件
mlxfwmanager --update -i /path/to/firmware.bin
# 确认升级结果
mlxfwmanager --query驱动配置
驱动方面，我强烈建议使用NVIDIA官方推荐的版本。别用系统自带的，因为系统自带的驱动往往比较老，缺少RoCE优化。
驱动安装后，需要调整几个关键参数：
- 拥塞控制算法： 推荐使用“DCTCP”或“DCQCN”。
- 队列大小： 建议设置为4096或更大，避免队列溢出。
- 中断合并： 适当开启，减少CPU中断频率。
rdma_rxe模块没加载。记住，RoCE需要加载mlx5_core和mlx5_ib两个模块。
知识体系总览
下面这张图，是我自己画的RoCE核心组件关系图。你可以看到，交换机、网卡、固件驱动，三者是环环相扣的。任何一个环节出问题，RoCE都跑不起来。
好了，以上就是RoCE网络核心组件的全部内容。从交换机选型，到网卡选择，再到固件驱动配置，每一步都有讲究。我个人觉得，最关键的还是一致性——交换机、网卡、驱动，三者的参数必须对齐，否则RoCE就跑不起来。
下一章，咱们会深入聊聊RoCE的流控机制，包括PFC和ECN到底怎么配。到时候见。