1、RoCE概述：RDMA技术背景、RoCE协议栈、RoCE v1与v2对比、RoCE应用场景
1.1 为什么需要RDMA？
聊RoCE之前，我们先搞清楚一个问题：传统网络到底慢在哪？
我刚开始做数据中心网络那会儿，用的还是TCP/IP那套。应用发个数据，得经过内核、协议栈、中断处理、内存拷贝……一圈下来，延迟动不动就上百微秒。你想想看，对于分布式存储或者高性能计算来说，这个开销太要命了。
RDMA（Remote Direct Memory Access） 的出现，说白了就是绕开操作系统，让网卡直接把数据搬到应用内存里。没有内核参与，没有上下文切换，也没有多余的数据拷贝。
核心优势：
- 零拷贝：数据直接从应用缓冲区到网卡，不走内核
- 内核旁路：应用直接与硬件交互，省去系统调用开销
- 低延迟：微秒级甚至亚微秒级延迟
- 低CPU占用：数据传输不消耗主机CPU资源
我记得有一次帮客户调一个分布式存储集群，他们用传统TCP跑，CPU动不动就飙到80%以上。换成RoCE之后，CPU占用直接降到个位数，吞吐量还翻了一倍。嗯，这就是RDMA的魅力。
1.2 RoCE协议栈长什么样？
RoCE的全称是 RDMA over Converged Ethernet，也就是在融合以太网上跑RDMA。它把RDMA的传输层封装在以太网帧里，这样就能用标准以太网交换机来组网，不用非得买InfiniBand那套专用设备。
协议栈从下往上大致是这样的：
| 层级 | 说明 |
|---|---|
| 物理层 | 标准以太网（10/25/40/100/200Gbps） |
| 数据链路层 | 以太网MAC + 可选的PFC（优先级流控） |
| 网络层 | IP（RoCE v2需要） |
| 传输层 | UDP（RoCE v2） / 无（RoCE v1） |
| RDMA层 | InfiniBand Transport（IBA） |
| 应用层 | Verbs API（用户态/内核态） |
这里有个关键点：RoCE的传输层用的是InfiniBand的协议，而不是TCP或UDP的传输逻辑。所以它才能做到那么低的延迟。我刚开始学的时候也困惑过——明明跑在以太网上，怎么还能叫RDMA？后来才明白，它只是借了以太网的物理通道，上层还是IB那套东西。
个人经验： 部署RoCE时，网卡一定要支持RoCE offload。别图便宜买普通网卡，否则RDMA根本跑不起来。我踩过这个坑，后来换成了Mellanox（现NVIDIA）的ConnectX系列，一切就顺了。
1.3 RoCE v1 vs RoCE v2：到底差在哪？
RoCE有两个版本，很多人搞不清楚区别。我直接说结论：生产环境请用RoCE v2，别碰v1。
RoCE v1：
- 直接在以太网MAC层封装IB数据包
- 没有IP头，没有UDP头
- 致命缺陷： 不能跨二层网络，只能在同一个广播域里用
- 说白了，v1就是个局域网玩具
RoCE v2：
- 在UDP/IP之上封装IB数据包
- 有IP头，可以路由，能跨三层网络
- UDP目的端口号固定为4791
- 支持ECMP（等价多路径）负载均衡
| 特性 | RoCE v1 | RoCE v2 |
|---|---|---|
| 封装层 | 以太网MAC | UDP/IP |
| 可路由 | 否（仅二层） | 是（三层可路由） |
| 标准 | IBoE（InfiniBand over Ethernet） | RoCE v2（IETF标准化） |
| UDP端口 | 无 | 4791 |
| ECMP支持 | 不支持 | 支持（基于UDP五元组） |
| 生产推荐 | 不推荐 | 强烈推荐 |
为什么会这样？因为v1没有IP头，交换机根本不知道这个包要去哪，只能靠MAC地址转发。一旦跨网段，路由器就懵了。v2加了UDP/IP头之后，就跟普通UDP包一样，路由器、三层交换机都能正常处理。
避坑指南： 我曾经在一个项目中看到有人为了省事，在跨机房的场景下用了RoCE v1，结果两个机房之间死活通不了。查了半天才发现是v1不支持三层路由。后来全部改成v2，问题立刻解决。所以，只要你的网络环境超过一个网段，直接上v2。
1.4 RoCE的应用场景
RoCE现在用得越来越广，我挑几个典型的场景说说：
1. 分布式存储
像Ceph、GPFS、Lustre这些分布式文件系统，数据在节点之间频繁迁移。用RoCE能把延迟从毫秒级降到微秒级。我调过一个Ceph集群，OSD节点之间用RoCE v2互联，IOPS直接提升了3倍。
2. 高性能计算（HPC）
MPI通信、GPU Direct、NCCL这些，RoCE是标配。NVIDIA的DGX系列服务器，内部互联用的就是RoCE。说白了，AI训练集群里，卡间通信的瓶颈往往在网络上，RoCE能把这个瓶颈大幅缓解。
3. 数据库与缓存
像Redis Cluster、MySQL Group Replication这类对延迟敏感的场景，RoCE能显著缩短事务提交时间。我见过一个金融交易系统，用RoCE之后，订单处理延迟从200微秒降到了30微秒。
4. 虚拟化与容器
SR-IOV + RoCE，可以在虚拟机或容器里直接分配RDMA网卡。VMware vSphere、KVM、Kubernetes都支持。嗯，这里要注意，容器里用RoCE需要配置好CNI插件，否则设备映射会出问题。
一句话总结： 只要你的应用对延迟敏感、对吞吐量有要求，而且跑在以太网上，RoCE就是性价比最高的选择。相比InfiniBand，它便宜；相比传统TCP，它快。
好了，这一章我们搞清楚了RoCE的来龙去脉。下一章我会详细讲RoCE的部署流程，包括网卡配置、交换机设置、PFC和ECN的调优。到时候咱们再细聊。