4、RoCE网络规划：无损网络设计原则、PFC与ECN阈值调优、Buffer预留与Headroom计算

各位同行，今天我们来聊聊RoCE网络规划里最核心的一块——怎么把网络做成“无损”的。说实话，我见过太多团队RDMA跑不起来，最后查下来都是网络规划阶段埋的坑。你想想看，RDMA对丢包零容忍，一旦丢包，性能直接断崖式下跌。所以这一章，咱们把无损网络的几个关键点掰开揉碎了讲。

4.1 无损网络的核心设计原则

无损网络，说白了就是让交换机不丢包。但这不是靠祈祷实现的，而是靠一套精密的流量控制机制。我个人习惯把设计原则归纳为三点：

• 闭环流控：发送端不能无脑发，必须根据接收端的反馈动态调整。
• 优先级隔离：不要把存储流量和普通TCP流量混在一起，否则互相干扰。
• Buffer要够用：交换机芯片里的Buffer是命根子，不够用就等着丢包吧。

我记得有一次帮客户排查问题，他们RoCE跑着跑着就超时。一查，发现存储流量和业务流量共用了一个优先级队列。嗯，这就是典型的没做隔离。后来我们把RoCE流量单独放到优先级3，问题就解决了。

4.2 PFC机制与阈值调优

PFC（Priority Flow Control）是RoCE无损网络的基石。它的原理很简单：当接收端Buffer快满时，发一个PAUSE帧给发送端，让对方停一停。但这里有个坑——PFC风暴。

PFC阈值调优，我建议关注三个参数：

为什么XOFF不能设得太高？你想想看，如果设到90%，那Buffer几乎满了才发PAUSE，这时候可能已经来不及了。我一般习惯留出20%-30%的Buffer作为安全余量。

4.3 ECN阈值调优

ECN（Explicit Congestion Notification）是PFC的搭档。PFC是“硬刹车”，ECN是“软提醒”。ECN在交换机检测到拥塞时，给报文打上标记，接收端看到标记后通知发送端降速。

ECN阈值调优的核心是找到那个“恰到好处”的水位线：

• Kmin：开始标记ECN的Buffer水位。设得太低，发送端频繁降速，吞吐上不去。
• Kmax：标记概率达到100%的水位。设得太高，Buffer快满了才标记，PFC可能已经触发了。
• Pmax：最大标记概率，通常设为100%。

这里有个细节要注意：ECN只对支持ECN的流量生效。如果混合了不支持ECN的流量，那这部分流量还是会直接触发PFC。所以，我建议在交换机上把RoCE流量的DSCP值统一映射到ECN队列。

4.4 Buffer预留与Headroom计算

Buffer预留是门学问。交换机芯片的Buffer是有限的，你要给每个端口、每个优先级分配合理的Buffer空间。Headroom则是专门为PFC预留的“救命Buffer”——当PAUSE帧发出后，链路上还在传输的报文需要地方放。

Headroom的计算公式大致如下：

Headroom = (链路速率 × 链路延迟 × 2) + 最大报文长度

举个例子：100Gbps链路，延迟1μs，最大报文1500字节：

Headroom = (100Gbps × 1μs × 2) + 1500B
         = 200,000 bits + 12,000 bits
         ≈ 26.5 KB

嗯，这里要注意，实际部署时还要考虑芯片内部的处理延迟、PAUSE帧的处理时间等。我一般会在计算结果上再加20%的余量。

Buffer预留的整体策略，我建议按优先级分配：

• RoCE流量（高优先级）：分配40%-50%的Buffer，包含Headroom
• 普通TCP流量：分配30%-40%的Buffer
• 管理流量：分配10%-20%的Buffer

当然，这个比例不是死的。如果你的RoCE流量特别大，可以适当调高。但记住，要给其他流量留条活路。

4.5 知识体系总览

下面这张图是我自己整理的RoCE无损网络规划的知识体系，你可以对照着看：

这张图把无损网络规划的三大块串起来了。PFC是底线，ECN是主力，Buffer预留是最后的保险。三者配合好了，RoCE才能跑得稳。

公众号:蓝海资料掘金营，微信deep3321