1、RoCE技术概述
大家好，我是老张。今天咱们聊聊RoCE。说实话，RDMA这个技术圈子里，RoCE算是后起之秀。我最早接触它是在2016年，当时一个存储项目需要低延迟传输，InfiniBand太贵，传统TCP又扛不住，最后选了RoCE——嗯，这条路算是走对了。
RDMA技术背景
RDMA，全称是Remote Direct Memory Access。说白了，就是让一台机器的网卡直接读写另一台机器的内存，完全绕过CPU和操作系统内核。你想想看，传统网络通信要走TCP/IP协议栈，数据从应用层一路拷贝到内核，再经过网卡发出去，接收端还得反向走一遍——这中间CPU参与了多少次内存拷贝？延迟能不高吗？
RDMA的核心思想就三个字：零拷贝。数据直接从用户态内存发到网卡，再从网卡写到对端用户态内存。CPU全程旁观，只负责下发指令。我在项目中遇到过，同样的业务，从TCP换成RDMA，延迟从几百微秒降到了十几微秒——效果就是这么明显。
RDMA的三大优势：
- 低延迟：绕过内核，减少数据拷贝
- 高吞吐：硬件卸载，CPU几乎不参与数据搬运
- 低CPU占用：CPU只做控制面，数据面全交给网卡
RoCE v1/v2协议演进
RoCE全称RDMA over Converged Ethernet，就是跑在以太网上的RDMA。为什么会有它？因为InfiniBand虽然好，但生态封闭、价格昂贵。大家希望用便宜的以太网，也能享受RDMA的低延迟。
RoCE v1是最早的版本。它把RDMA数据包直接封装在以太网帧里，协议号是0x8915。但有个致命问题——它只能在同一个二层网络里跑，不能跨VLAN，不能路由。说白了，就是个局域网玩具。我记得当时有个客户，两个机房之间想用RoCE，结果发现v1根本过不了三层交换机，最后只能拉专线做二层互联，折腾得够呛。
RoCE v2就聪明多了。它把数据包封装在UDP里，目标端口号是4791。这样一来，数据包就能像普通UDP包一样被路由、被转发。你想想看，三层网络随便跑，跨机房、跨数据中心都不是问题。v2还引入了IP头和UDP头，方便做ECMP负载均衡——这个后面会详细讲。
| 特性 | RoCE v1 | RoCE v2 |
|---|---|---|
| 封装格式 | 以太网帧（EtherType 0x8915） | UDP包（端口4791） |
| 网络层 | 仅二层（MAC地址） | 三层（IP地址） |
| 路由能力 | 不支持 | 支持 |
| 负载均衡 | 不支持 | 支持ECMP |
| 部署场景 | 单数据中心内 | 跨数据中心 |
我的建议：新项目直接上RoCE v2。v1已经基本被淘汰了，除非你还在维护十年前的旧设备。v2的UDP封装虽然增加了少量头部开销，但换来的是路由和负载均衡能力，这笔账怎么算都划算。
RoCE与InfiniBand对比
很多人问我：RoCE和InfiniBand到底选哪个？我的回答是：看场景。
InfiniBand是RDMA的"原配"。它从设计之初就是为RDMA服务的，硬件、协议、软件栈全部原生支持。延迟能做到1微秒以内，吞吐量也极高。但问题在于——贵。一台InfiniBand交换机比同规格的以太网交换机贵3-5倍，而且需要专门的线缆和网卡。生态也封闭，基本上就是Mellanox（现NVIDIA）一家独大。
RoCE走的是"兼容并包"路线。它跑在标准以太网上，交换机、网卡、线缆都是现成的。成本低，部署灵活。但代价是——需要额外的流控机制。以太网本身是"尽力而为"的，丢包了重传就行。但RDMA不行，丢一个包性能就崩了。所以RoCE必须依赖PFC（优先级流控）和ECN（显式拥塞通知）来保证无损传输。
避坑指南：我曾经在一个项目中，RoCE网络没有配置PFC，结果一跑大流量就疯狂丢包，性能还不如TCP。后来花了整整一周调优流控参数，才把问题解决。所以记住——RoCE不是插上就能用的，网络必须做无损改造。
| 对比项 | InfiniBand | RoCE v2 |
|---|---|---|
| 延迟 | 极低（<1μs） | 低（1-5μs） |
| 吞吐 | 极高（400Gbps+） | 高（100Gbps+） |
| 成本 | 高 | 中低 |
| 生态 | 封闭（NVIDIA） | 开放（标准以太网） |
| 部署难度 | 简单（原生支持） | 复杂（需无损网络） |
| 适用场景 | HPC、超算 | 数据中心、存储、AI |
RoCE应用场景
RoCE现在用得最多的场景，我总结下来有三个：
- 分布式存储：比如Ceph、GPFS、Lustre这些存储系统，节点之间需要大量数据同步。用RoCE可以把延迟从毫秒级降到微秒级，IOPS提升好几倍。我做过一个Ceph集群，后端网络从万兆TCP换成25G RoCE，4K随机写的IOPS从5万飙到了20万。
- AI训练：大模型训练需要GPU之间频繁通信。NVIDIA的NVLink虽然快，但只能连同一台机器内的GPU。跨机器的通信，RoCE是最主流的选择。现在很多AI集群都用RoCE做东西向流量。
- 数据库加速：像Oracle RAC、SQL Server AlwaysOn这类集群数据库，节点间需要同步日志和缓存。用RoCE可以显著减少同步延迟，提升事务处理能力。
一句话总结：RoCE就是用以太网的"平民价格"，享受接近InfiniBand的"贵族性能"。前提是——你得把网络调好了。
好了，这一章就到这里。RoCE的基本概念、协议演进、对比分析和应用场景都聊完了。下一章我们深入技术细节，聊聊RoCE v2的报文格式和UDP封装——嗯，那是理解多路径的关键。