第3章：InfiniBand网络拓扑结构
聊到InfiniBand网络，拓扑结构是个绕不开的话题。我见过不少刚入行的朋友，一上来就纠结「到底该选哪种拓扑」，其实大可不必。每种拓扑都有它的脾气，关键看你手里有什么牌、想打什么局。
今天我就把三种主流拓扑——Fat-Tree、Torus、Hypercube，掰开了讲清楚。嗯，还会聊聊实际数据中心里，我们到底怎么选。
3.1 Fat-Tree拓扑：最稳妥的选择
Fat-Tree，说白了就是「胖树」。为什么叫胖？因为越往根部的链路越宽，带宽越足。你想想看，一棵树如果树干太细，叶子再多也撑不住。Fat-Tree就是解决了这个问题。
它的核心思想是：任何两个节点之间，都能提供等价的带宽。这在HPC集群里特别重要——你总不希望某个节点因为「位置不好」而跑得比别人慢吧？
Fat-Tree的关键参数
- 层级数：通常2层或3层。2层支持几百个节点，3层能到几千个
- 收敛比：下行带宽总和 / 上行带宽总和。1:1就是无阻塞，1:4就是4倍收敛
- 端口数：取决于交换芯片。比如36口交换机，能搭出经典的「3层Fat-Tree」
我记得有一次给一个超算中心做方案，客户非要省钱用1:4收敛比。结果跑MPI Allreduce时，性能直接腰斩。后来我跟他解释：「你想想看，所有节点同时往上发数据，上行链路就那几根，不堵才怪。」最后老老实实改成了1:1无阻塞。
Fat-Tree的优点很明显：
- 容错性好——某条链路断了，流量自动绕行
- 扩展方便——加一层交换机就能翻倍节点数
- 性能可预测——任何两个节点延迟几乎一样
缺点呢？
- 交换机用量大——无阻塞配置下，交换机数量是节点数的好几倍
- 布线复杂——尤其是3层Fat-Tree，线缆多到让你怀疑人生
我的建议：如果你刚开始搭建InfiniBand网络，或者节点数在500以内，直接选Fat-Tree。它是最「安全」的选择，踩坑概率最低。
3.2 Torus拓扑：高密度计算的利器
Torus拓扑，你可以想象成一个三维的网格，每个节点只跟邻居相连，但边缘节点会「绕回来」连到对侧。嗯，就像玩贪吃蛇时屏幕边缘穿到另一边那种感觉。
这种拓扑最大的好处是：布线极其简单。每个节点只需要连6根线（3D Torus），交换机数量也少得多。我见过一个5000节点的集群，用Fat-Tree得几百台交换机，用Torus只需要几十台。
但代价是什么？跳数。两个节点通信，可能要经过很多跳。比如一个8x8x8的3D Torus，最远距离是12跳。而Fat-Tree最多3跳就到了。
注意：Torus拓扑对路由算法要求很高。我曾经在一个项目里，默认的DOR（Dimension Order Routing）算法导致热点拥堵，后来换成自适应路由才解决。如果你用Torus，一定要确认你的交换机支持自适应路由。
Torus的典型应用场景：
- 超大规模集群（几千到几万节点）
- 对延迟不敏感、但对吞吐量要求高的应用
- 物理空间有限、布线成本敏感的场景
说实话，我个人不太推荐小规模集群用Torus。节点数少于1000时，Torus的跳数优势体现不出来，反而增加了延迟不确定性。你想想看，两个节点可能只隔1跳，也可能隔10跳，这性能波动谁受得了？
3.3 Hypercube拓扑：理论很美，现实很骨感
Hypercube，超立方体。听着就高大上对吧？它的核心思想是：n维超立方体，每个节点有n个邻居，任意两点最多n跳。
举个例子：4维超立方体有16个节点，每个节点连4个邻居，任意两点最多4跳。这个「直径」比同样节点数的Torus小得多。
Hypercube的优点：
- 直径小——通信延迟低
- 对分带宽大——网络吞吐量高
- 容错性好——多条路径可选
但现实很残酷：
- 扩展性差——节点数必须是2的幂次方（2, 4, 8, 16, 32...）
- 布线复杂——每个节点要连log2(N)根线，N大了根本受不了
- 物理实现困难——你试试在机柜里布一个6维超立方体？
我记得2015年有个项目，客户非要上Hypercube，说是论文里写的性能好。结果布线阶段就崩溃了——6维超立方体，每个节点6根线，64个节点就是384根线，而且每根线长度都不一样。最后我们改成了Fat-Tree，两周就搞定了。
一句话总结：Hypercube更适合理论研究，或者极少数特殊场景。实际数据中心里，你几乎看不到它的身影。
3.4 实际数据中心中的拓扑选择
好了，理论讲完了，咱们聊聊实战。我这些年经手过的InfiniBand项目，从几十个节点到上万个节点都有，总结下来就这么几条经验：
| 集群规模 | 推荐拓扑 | 理由 |
|---|---|---|
| < 500节点 | 2层Fat-Tree | 简单、可靠、性能可预测 |
| 500 - 2000节点 | 3层Fat-Tree | 扩展性好，无阻塞配置 |
| 2000 - 10000节点 | 3层Fat-Tree 或 3D Torus | 看应用场景：延迟敏感选Fat-Tree，吞吐量优先选Torus |
| > 10000节点 | 3D/4D Torus | 布线成本、交换机数量是主要考量 |
选型时还要考虑几个因素：
- 应用特征：MPI Allreduce多的，选Fat-Tree；流式计算多的，Torus也能凑合
- 预算：Fat-Tree交换机多，Torus线缆多，算清楚总成本
- 运维能力：Fat-Tree故障定位简单，Torus出了问题排查起来要命
- 未来扩展：Fat-Tree加一层就行，Torus得重新规划维度
我的个人习惯：只要预算允许，我首选Fat-Tree。它虽然贵一点，但省心。你想想看，一个集群跑三五年，运维成本往往比硬件成本还高。Fat-Tree的「傻瓜式」运维，能帮你省下大量时间。
最后说一句：没有最好的拓扑，只有最合适的拓扑。别被那些花里胡哨的论文带偏了，回到你的实际需求来。带宽够不够？延迟能不能接受？布线能不能搞定？运维团队能不能撑住？这些问题想清楚了，拓扑选择自然就清晰了。
嗯，下一章我们聊聊InfiniBand的路由和交换机制，那才是真正决定网络性能的核心。到时候我会分享一些调优的实战经验，保证让你少走弯路。