1、RoCE技术概述：RDMA背景、RoCE v1/v2协议栈对比、RoCE vs InfiniBand vs iWARP
1.1 为什么需要RDMA？—— 传统网络的瓶颈
先聊聊背景。做高性能计算的人，最头疼的问题之一就是数据搬运太慢。
传统TCP/IP网络，数据从应用层到网卡，要经过操作系统内核、协议栈、内存拷贝……这一套流程下来，延迟轻松上百微秒。CPU还得忙着处理中断、校验和、分段重组，真正干活的效率被严重拖累。
我早年调一个分布式存储集群，发现CPU有一半的时间都在处理网络收发包。当时我就想，这太浪费了。能不能让数据绕过内核，直接从应用内存搬到网卡？
这就是RDMA（Remote Direct Memory Access）的核心理念——让网卡直接读写远端内存，不经过操作系统，不占用CPU。
- 零拷贝：数据直接从应用缓冲区到网卡，无需中间拷贝
- 内核旁路：应用直接与网卡交互，绕过操作系统协议栈
- CPU卸载：数据传输由网卡硬件完成，CPU几乎零参与
说白了，RDMA就是给数据开了条高速公路，把CPU从搬运工的岗位上解放出来。
1.2 RoCE v1 vs v2 —— 同一个技术，两代演进
RoCE（RDMA over Converged Ethernet）是RDMA技术在以太网上的实现。它分两个版本，差别还挺大。
RoCE v1：简单但局限
RoCE v1是最早的版本。它把RDMA数据直接封装在以太网帧里，使用以太网类型字段0x8915标识。
问题在哪？它只能在同一个二层网络（广播域）内工作。跨网段？不行。没有路由能力。
我记得有一次，客户想把两个机柜的RoCE网络打通，结果发现中间隔了一个三层交换机，RoCE v1直接歇菜。最后只能拉光纤直连，费了不少劲。
RoCE v2：走向三层
RoCE v2解决了v1的痛点。它把RDMA数据封装在UDP包里，使用目标端口4791。这样一来，数据就能通过IP路由了。
你想想看，这意味着什么？RoCE v2可以跑在标准IP网络上，跨交换机、跨网段、甚至跨数据中心都行。
| 对比项 | RoCE v1 | RoCE v2 |
|---|---|---|
| 封装层 | 以太网帧（二层） | UDP/IP（三层） |
| 路由能力 | 无（仅二层） | 有（支持三层路由） |
| 以太网类型 | 0x8915 | UDP端口4791 |
| 适用场景 | 小规模集群 | 大规模、跨网络部署 |
嗯，这里要注意：RoCE v2虽然能路由，但前提是你的网络设备要支持PFC（优先级流控）和ECN（显式拥塞通知）。否则丢包一多，性能直接崩盘。我后面会专门讲这个。
1.3 RoCE vs InfiniBand vs iWARP —— 三选一，怎么选？
做高性能计算，绕不开这三个技术。我简单说说它们的区别。
InfiniBand：老牌贵族
InfiniBand是RDMA的鼻祖。它从设计之初就是为高性能计算服务的，有专门的交换机和网卡，端到端的无损传输。
优势很明显：性能稳定、延迟极低、生态成熟。但缺点也突出：贵。一套InfiniBand网络，价格是普通以太网的3-5倍。而且它和以太网不兼容，你得单独建一套网络。
我见过不少超算中心，核心计算网络用InfiniBand，管理网络用以太网。两套网络并行，运维成本翻倍。
iWARP：互联网的妥协
iWARP（Internet Wide Area RDMA Protocol）走的是另一个路线。它把RDMA封装在TCP里，利用TCP的可靠传输来保证数据不丢。
好处是：兼容性好，跑在标准TCP/IP网络上就行，不需要特殊交换机。
坏处是：性能受限于TCP协议栈。TCP的拥塞控制、重传机制，在高延迟场景下会拖慢速度。说白了，iWARP更适合广域网场景，但在数据中心内部，性能不如RoCE和InfiniBand。
RoCE：性价比之选
RoCE走的是中间路线。它用标准以太网，但通过PFC和ECN来模拟InfiniBand的无损环境。
性能上，RoCE v2在良好配置下，延迟可以做到1-2微秒，和InfiniBand差距不大。成本上，它用普通以太网交换机，比InfiniBand便宜得多。
我个人习惯，在预算有限但又需要高性能的场景，优先推荐RoCE。比如AI训练集群、分布式存储、高频交易等。
1.4 核心知识体系：一张图看懂
下面这张图，是我梳理的RoCE技术核心逻辑。从RDMA背景出发，到RoCE v1/v2的协议栈对比，再到三大技术的选型对比。你看完应该能有个整体认知。
1.5 我的选型建议
最后说说我的个人经验。如果你正在搭建一个高性能计算集群，我的建议是：
- 预算充足、追求极致性能：选InfiniBand。别犹豫，它是最稳的。
- 预算有限、但需要高性能：选RoCE v2。前提是网络设备支持PFC/ECN，并且你愿意花时间调优。
- 跨数据中心、广域网场景：选iWARP。TCP的可靠性在长距离传输中更有优势。
嗯，RoCE v2是目前最热门的选择。它兼顾了性能和成本，但也是最考验网络工程师功力的。后面的章节，我会详细讲RoCE v2的部署、调优和排障。你准备好了吗？