1、RDMA基础概念与硬件选型陷阱：理解IB、RoCE v1/v2、iWARP的区别，以及网卡、交换机、线缆的兼容性坑
各位同学，咱们直接开门见山。RDMA 这玩意儿，说白了就是让数据从一个机器的内存，直接搬到另一个机器的内存里，中间不经过 CPU 和操作系统那套繁琐的协议栈。听起来很爽对吧？但选型的时候，坑多得很。我刚开始接触时也踩过不少，今天就把这些经验掰开揉碎了讲给你听。
1.1 三种主流RDMA技术：IB、RoCE、iWARP
目前市面上主流的 RDMA 实现就三种：InfiniBand（IB）、RoCE（RDMA over Converged Ethernet）和 iWARP。它们的目标一样，但路数完全不同。
| 特性 | InfiniBand (IB) | RoCE v1 / v2 | iWARP |
|---|---|---|---|
| 底层网络 | 专用 IB 网络 | 标准以太网 | 标准以太网 |
| 传输层 | IB 自有协议 | RoCE v1: IB over L2 RoCE v2: IB over UDP/IP |
TCP / SCTP |
| 性能 | 最高，延迟极低 | 高，但依赖无损网络 | 中等，受 TCP 拥塞控制影响 |
| 成本 | 最高（专用硬件） | 中等（利用现有以太网） | 中等 |
| 兼容性 | 封闭生态，必须 IB 设备 | 需要支持 RoCE 的网卡和交换机 | 普通网卡 + 软件栈即可 |
InfiniBand：这是 RDMA 的“原教旨主义”。它从物理层到应用层都是为 RDMA 设计的，性能最强，延迟最低。但代价也高——你得买专用的 IB 网卡、IB 交换机和 IB 线缆。我记得第一次搭 IB 集群时，光是一根线缆就花了大几千，心疼得不行。
RoCE：这是目前最流行的方案。它把 RDMA 跑在以太网上，分两个版本。RoCE v1 工作在二层（数据链路层），不能跨网段。RoCE v2 则封装在 UDP 里，可以路由，灵活性高很多。我个人习惯用 RoCE v2，因为它部署起来方便，而且现在主流网卡都支持。
iWARP：这货走的是 TCP 协议栈。好处是兼容性好，普通网卡加个软件就能跑。但坏处也明显——TCP 的拥塞控制和重传机制会引入额外延迟。我在项目中遇到过，iWARP 在长距离传输时性能下降得厉害，远不如 RoCE 稳定。
核心观点：追求极致性能，选 IB。想省钱又不想太折腾，选 RoCE v2。如果只是玩玩或者兼容性要求极高，iWARP 也能凑合。
1.2 硬件选型陷阱：网卡、交换机、线缆的兼容性
选完协议，接下来就是真金白银的硬件采购了。这里面的坑，一个比一个深。
1.2.1 网卡：别只看速率
很多人买网卡只看速率，比如 25G、100G。但 RDMA 网卡有个关键参数——RoCE 版本支持。有些老网卡只支持 RoCE v1，不支持 v2。你买回来才发现，交换机不支持 v1 的 PFC（优先级流控），结果死活跑不起来。
另外，网卡的 PCIe 带宽 也得注意。100G 网卡需要 PCIe 3.0 x16 或 PCIe 4.0 x8 才能跑满。我见过有人把 100G 网卡插在 PCIe 3.0 x4 的槽位上，结果带宽只有 30G，白白浪费了硬件。
警告：买网卡前，先确认你的主板 PCIe 插槽规格。别光看网卡标称速率，接口带宽不够全是白搭。
1.2.2 交换机：RoCE 的无损网络要求
RoCE 对网络丢包极其敏感。一旦丢包，性能会断崖式下跌。所以它需要交换机支持 PFC（优先级流控） 和 ECN（显式拥塞通知）。这两个功能不是所有交换机都有的。
我曾经帮一个客户排查问题，他们买了支持 RoCE 的网卡，但交换机是普通的数据中心交换机，不支持 PFC。结果 RDMA 读写操作经常超时，性能还不如传统 TCP。后来换了支持 PFC 的交换机，问题才解决。
另外，不同厂商的交换机对 PFC 的实现细节有差异。比如 Mellanox 的交换机跟 Cisco 的交换机对接时，PFC 的优先级映射可能不一致。嗯，这里要注意，最好统一品牌，或者提前做兼容性测试。
1.2.3 线缆：光模块和 DAC 的坑
线缆这块，看似简单，其实最容易出问题。RDMA 对信号质量要求高，线缆长度、光模块类型都会影响稳定性。
- DAC（直连铜缆）：短距离（<5米）首选，成本低，延迟低。但超过 5 米信号衰减严重，容易丢包。
- AOC（有源光缆）：中距离（5-30米）推荐，抗干扰能力强。
- 光模块 + 光纤：长距离（>30米）必须用。但要注意，光模块的发射功率和接收灵敏度要匹配。我遇到过光模块功率太低，导致链路不稳定，RDMA 连接频繁断开。
避坑指南：我曾经在项目中为了省钱，买了杂牌光模块。结果 RDMA 读写时延抖动非常大，从 2us 跳到 100us。后来换了原厂模块，问题立刻消失。所以，线缆和光模块千万别省，尤其是 RoCE 环境。
1.3 兼容性实战：一个典型的选型流程
说了这么多理论，咱们来点实际的。假设你要搭建一个 100G RoCE v2 集群，该怎么选型？
- 确定网卡：选支持 RoCE v2 的网卡，比如 Mellanox ConnectX-5 或以上。确认 PCIe 插槽是 x16 或 x8。
- 确定交换机：选支持 PFC 和 ECN 的交换机，比如 Mellanox Spectrum 系列。确认交换机端口速率和网卡匹配。
- 确定线缆：机架内用 DAC，跨机架用 AOC。长度别超过推荐值。
- 做兼容性测试：先买少量设备，搭建最小环境，跑一下
ib_write_bw或perftest工具，确认带宽和延迟达标。
你想想看，如果跳过测试直接批量采购，万一不兼容，退货都麻烦。我见过一个团队买了 100 块网卡，结果跟交换机不兼容，最后只能打折处理，损失惨重。
1.4 小结
RDMA 的硬件选型，说白了就是三个字：别想当然。IB、RoCE、iWARP 各有优劣，选哪个取决于你的场景和预算。网卡、交换机、线缆这三样东西，必须作为一个整体来考虑，不能只看单个指标。
下一章，咱们聊聊 RDMA 编程中最常见的错误——内存注册和 MR 管理。那才是真正让人头疼的地方。