第4章 IB网络拓扑

4. IB网络拓扑：Fat-Tree拓扑原理、计算与设计、实际部署中的拓扑选择

聊到InfiniBand网络，绕不开的一个话题就是拓扑。很多刚入行的朋友问我：“为什么非得用Fat-Tree？直接用个简单的树形不行吗？”

嗯，这个问题我当年也问过。后来在机房看着几万张GPU卡跑大模型训练，网络一堵，整个集群都在等数据，我才真正明白——拓扑选错了，再贵的硬件也白搭。

Fat-Tree，中文叫“胖树”。名字挺形象——越往树根走，链路越“胖”，带宽越宽。

说白了，它的设计目标就一个：任何两个节点之间，都能提供无阻塞的通信能力。

核心思想：多路径 + 等分带宽。从任意叶子节点到任意其他叶子节点，可用的路径数等于网络中的链路数，且每条路径的带宽相同。

我习惯把Fat-Tree理解成“多层交换网络”。每一层都是全连接，数据包可以走任意一条路。你想想看，如果一条路堵了，它自动走另一条，这不就是天生的负载均衡吗？

具体来说，一个标准的k叉Fat-Tree（也叫k元Fat-Tree）由三层组成：

我在项目中遇到过一种情况：有人为了省钱，把核心层砍掉了，直接用脊干层当核心。结果训练任务一多，脊干层交换机直接被打满，丢包率飙升。嗯，该花的钱真不能省。

设计一个Fat-Tree，说白了就是算几个数。我给大家一个公式，记牢了：

关键参数：

举个例子。假设我们用Mellanox QM9700交换机，每个交换机有40个端口（k=40）。那么：

16000台GPU服务器，每台8卡，那就是12.8万张GPU。这个规模，足够跑目前最大的大模型训练了。

但注意，这只是理论值。实际部署中，我建议留20%的端口冗余。为什么？因为交换机端口会坏，线缆会松动，你总得留点余量做故障切换。我曾经吃过这个亏——满配部署，结果一个端口坏了，整个pod都得降级跑。

理论讲完了，咱们聊聊实战。不同的场景，拓扑选择完全不同。

场景	推荐拓扑	原因
小规模集群（< 256 GPU）	2层Fat-Tree（叶子+脊干）	成本低，管理简单，性能足够
中等规模（256-2048 GPU）	3层Fat-Tree（叶子+脊干+核心）	需要核心层做跨pod互联
大规模集群（> 2048 GPU）	多pod Fat-Tree + 全局核心层	必须分层设计，避免单点瓶颈
超大规模（> 10000 GPU）	Dragonfly+或3D Torus	Fat-Tree的线缆成本太高，Dragonfly更优

我个人习惯，在1000张GPU以下的集群，无脑选3层Fat-Tree。为什么？因为IB的拥塞控制机制在Fat-Tree上表现最好。你想想看，如果网络出现拥塞，IB的ECN（显式拥塞通知）可以快速反馈给发送端，而Fat-Tree的多路径特性让ECN能更均匀地分布负载。

避坑指南：我曾经在部署一个2000卡集群时，为了省线缆，把核心层的上行链路从4条减到了2条。结果训练ResNet-50时，通信占比从15%飙升到40%。后来老老实实加回了4条，通信占比立刻降到18%。记住：Fat-Tree的“胖”字，就体现在上行带宽上，千万别省。

下面这张图，是我自己画的Fat-Tree拓扑结构。你可以看到数据流从GPU服务器出发，经过叶子、脊干、核心三层，最终到达目标节点。每条路径都是等带宽的。

从这张图你可以看到，每个叶子交换机都连接到所有脊干交换机，每个脊干交换机又连接到所有核心交换机。这就是“全连接”的体现。数据从任何一个GPU节点出发，都有多条路径到达目标节点。

最后，我给大家几个实战中的建议：

先算带宽，再算端口。很多新手上来就数端口数，忽略了带宽。记住：IB HDR 200Gbps的端口，实际有效带宽大约180Gbps。你得留10%的余量。
线缆长度别忽略。Fat-Tree的线缆数量是O(n²)级别的。1000个节点，线缆长度可能超过10公里。我见过一个项目，线缆成本比交换机还高。
考虑未来扩展。设计时留20%的端口余量，方便后续加节点。我曾经在一个集群里预留了30%的端口，结果半年后客户要加500张GPU，直接插上就能用，不用重新布线。
监控网络拥塞。部署完成后，用ibdiagnet和perfquery定期检查。如果发现某个链路的利用率超过70%，就该考虑扩容了。

小技巧：如果你用的是Mellanox交换机，可以用ibnetdiscover命令查看当前拓扑。它会自动生成一个拓扑图，帮你快速定位链路问题。我每次部署完，第一件事就是跑这个命令，确认拓扑和设计一致。

好了，关于Fat-Tree拓扑，今天就聊这么多。记住一句话：拓扑是网络的骨架，骨架歪了，再好的肌肉也撑不起来。