一、RoCE技术概述：RDMA技术演进、协议栈对比与选型博弈
各位同学好，我是老张。今天咱们开始聊RoCE，这个在数据中心里越来越火的技术。说实话，我入行那会儿，RDMA还是InfiniBand的天下，谁能想到现在RoCE能占据半壁江山？嗯，技术演进就是这么有意思。
1.1 RDMA技术演进：从CPU搬运到硬件直通
先说说RDMA到底是什么。传统网络通信，数据要从网卡到内核，再从内核到用户空间，中间CPU得参与好几次数据拷贝。说白了，CPU就是个搬运工，累死累活还效率低。
RDMA（Remote Direct Memory Access）就不一样了。它允许应用程序直接读写远程主机的内存，数据不经过操作系统内核，也不占用CPU资源。我在项目中遇到过，同样的业务，从TCP切换到RDMA，延迟从几十微秒降到了几微秒，CPU占用率直接掉了30%。
RDMA的技术演进大致分三个阶段：
- 第一阶段：InfiniBand时代——专用硬件，性能强悍，但贵得离谱。我记得2015年那会儿，一套IB交换机够买好几台服务器了。
- 第二阶段：RoCE v1诞生——把RDMA搬到以太网上，成本降下来了，但只能在同一个二层网络里跑。
- 第三阶段：RoCE v2与iWARP——支持IP路由，能跨三层网络了。现在主流就是RoCE v2。
核心观点：RDMA的本质是"绕过内核，硬件直达"。你想想看，数据从网卡直接到应用内存，中间省了多少次拷贝和上下文切换？这就是它快的原因。
1.2 RoCE v1 vs v2：协议栈对比
RoCE v1和v2的区别，说白了就是网络层协议不同。v1用的是以太网类型（EtherType），v2用的是UDP封装。我刚开始学的时候也觉得差不多，直到在现网踩了坑才明白差异有多大。
| 对比项 | RoCE v1 | RoCE v2 |
|---|---|---|
| 网络层协议 | 以太网（EtherType 0x8915） | UDP/IP（端口4791） |
| 路由能力 | 仅限二层（同子网） | 支持三层路由 |
| 拥塞控制 | 无原生支持 | 支持DCQCN等算法 |
| 部署复杂度 | 低（简单直连） | 中（需配置PFC、ECN） |
| 适用场景 | 小规模集群 | 大规模数据中心 |
为什么RoCE v2要用UDP封装？我个人习惯的理解是：UDP头里的源端口可以用来做ECMP哈希，实现多路径负载均衡。v1没有这个能力，流量只能走一条路，带宽利用率上不去。
避坑指南：我曾经在部署RoCE v2时忽略了UDP端口配置，结果交换机把RDMA流量当普通UDP包处理了，丢包率飙升。记住，端口4791必须放行，而且最好做优先级标记。
来看一下RoCE v2的协议栈结构：
+------------------+
| 应用层数据 |
+------------------+
| RDMA 传输层 |
| (RC/UC/UD等) |
+------------------+
| UDP 头部 |
| (源端口: 随机 |
| 目的端口: 4791) |
+------------------+
| IP 头部 |
+------------------+
| 以太网头部 |
| (含VLAN优先级) |
+------------------+嗯，这里要注意，RoCE v2的UDP源端口是随机生成的，目的端口固定为4791。这个设计很巧妙——随机源端口让交换机可以做ECMP，把流量散到多条链路上。
1.3 RoCE vs InfiniBand：选型博弈
这个问题我几乎每次技术交流都会被问到。选RoCE还是InfiniBand？说实话，没有标准答案，得看你的场景和预算。
先画张图，帮大家理清思路：
我个人的经验是：
- 选InfiniBand的场景：HPC超算、金融高频交易、对延迟极度敏感的业务。说白了，不差钱，就要最好的性能。
- 选RoCE的场景：数据中心存储网络、AI训练集群、虚拟化环境。成本可控，而且能和现有以太网融合。
重要提醒：RoCE对网络质量要求极高，必须保证零丢包。我曾经在现网遇到过，交换机PFC配置不当，导致死锁，整个存储集群挂了半小时。所以选RoCE之前，先确认你的网络设备是否支持DCB、PFC、ECN这些特性。
最后说一句，InfiniBand和RoCE不是非此即彼的关系。我见过不少大厂，核心存储用IB，计算网络用RoCE，各取所长。技术选型嘛，适合的才是最好的。
好了，这一章就到这里。RoCE的基础概念和选型思路讲清楚了，后面咱们再深入聊故障恢复和高可用设计。