1. IB网络基础：InfiniBand架构概述、核心组件与网络拓扑结构

各位同学，咱们今天聊聊InfiniBand的基础。说实话，我第一次接触IB网络是在一个超算中心的项目里，当时客户要求搭建一套1000节点规模的集群。我心想，以太网不也能跑吗？结果一测延迟，差距就出来了。IB这东西，说白了就是为高性能计算量身定做的。

1.1 InfiniBand架构概述

InfiniBand是一种高速、低延迟的互联技术。它跟以太网最大的区别是什么？我个人的理解是：以太网是“尽力而为”的传输，而IB是“端到端”的可靠通道。IB架构的核心思想是通道导向，数据在发送前就建立好了一条虚拟的“管道”，数据包沿着这条管道一路狂奔，几乎不需要中间节点做复杂的路由决策。

为什么会这样？因为IB把网络智能从交换机移到了端侧（HCA）。交换机只负责转发，不负责纠错、重传这些脏活累活。这样一来，交换机的设计就简单了，转发速度自然就上去了。

1.2 核心组件：HCA、交换机、线缆

咱们一个一个说。

1.2.1 HCA（主机通道适配器）

HCA就是IB网络中的网卡。但它比普通网卡复杂得多。我记得第一次配置Mellanox的HCA时，被它的寄存器数量吓了一跳。HCA内部集成了DMA引擎、协议处理单元、甚至还有一块小型的处理器。

HCA的关键特性：

• RDMA支持：数据可以直接从应用内存搬到网络，不需要经过操作系统内核。这是IB低延迟的杀手锏。
• 多队列：每个HCA支持多个虚拟通道（VL），可以同时处理不同优先级的流量。
• 硬件卸载：TCP/IP的校验和、分段、重组这些活，HCA全包了。

1.2.2 交换机

IB交换机比以太网交换机简单。它不需要运行STP、OSPF这些协议。交换机内部维护一张转发表，根据数据包的LID（本地标识符）进行转发。

交换机的关键参数：

参数	说明	我的建议
端口数	常见36口、48口、648口	根据拓扑选择，Fat-Tree常用36口
线速	EDR 100Gbps、HDR 200Gbps	预算允许直接上HDR
缓存大小	影响拥塞控制效果	越大越好，但贵

1.2.3 线缆

IB线缆分两种：铜缆和光缆。铜缆便宜，但距离短（一般5米以内）。光缆贵，但可以到100米以上。我个人的习惯是：机柜内用铜缆，跨机柜用光缆。

1.3 网络拓扑结构

拓扑结构决定了网络的性能上限。IB常用的拓扑有两种：Fat-Tree和Torus。我分别讲讲。

1.3.1 Fat-Tree（胖树）

Fat-Tree是目前最主流的拓扑。它本质上是一棵多叉树，但越往上带宽越“胖”。为什么叫胖树？因为从叶子到根，链路数量逐层增加，保证了任何两个节点之间都有多条路径。

Fat-Tree的优点：

• 对分带宽高：理论上可以实现100%的对分带宽。
• 容错性好：某条链路断了，流量可以自动切换到其他路径。
• 扩展性强：增加一层交换机，节点数可以翻倍。

缺点也很明显：交换机数量多，成本高。一个三层的Fat-Tree，需要的交换机数量是节点数的好几倍。

1.3.2 Torus（环面）

Torus是一种多维网格拓扑。每个节点只跟相邻节点连接，形成一个环面。你想想看，就像一张渔网，每个网格点就是一个节点。

Torus的优点：

• 成本低：不需要额外的交换机，节点之间直连。
• 延迟可预测：数据包经过的跳数是固定的。
• 适合规则计算：比如分子动力学模拟，邻居通信模式非常匹配。

缺点：

• 对分带宽低：远低于Fat-Tree。
• 布线复杂：多维环面需要大量的线缆，维护起来很头疼。

我个人更倾向于Fat-Tree。虽然贵，但省心。Torus适合那些对成本敏感、通信模式固定的场景。

1.4 知识体系结构图

下面我用一张SVG图来总结本章的核心逻辑。这张图展示了IB网络从物理层到应用层的层次关系，以及核心组件和拓扑的关联。

这张图从下往上展示了IB的协议栈。物理层是基础，链路层负责数据封装和流控，网络层处理路由，传输层提供RDMA语义，应用层则是我们写的MPI程序。右侧和左侧分别列出了拓扑和组件，方便你对照理解。

1.5 本章小结

嗯，这一章咱们把IB的底子打好了。你知道了IB为什么快（通道导向、RDMA），知道了三大核心组件（HCA、交换机、线缆），也知道了两种主流拓扑（Fat-Tree和Torus）。

我个人觉得，理解拓扑结构特别重要。因为后续的拥塞控制策略，很大程度上取决于你的网络是怎么连的。Fat-Tree的拥塞模式和Torus完全不同，调优手段也不一样。

好了，这一章就到这里。下一章咱们深入链路层，看看数据包是怎么在IB网络里跑的。

---