一、IB网络概述：InfiniBand架构简介
各位同学，咱们今天聊聊InfiniBand。说实话，我第一次接触IB网络是在2015年，当时公司要上一套高性能计算集群，老大扔给我一句话：「去把IB搞明白」。我翻了一周文档，头都大了。但真正上手之后才发现，这东西其实没那么玄乎。
InfiniBand，简称IB，是一种高性能计算和存储领域专用的互联技术。它诞生的初衷很简单——解决传统网络在高吞吐、低延迟场景下的瓶颈问题。你想想看，当CPU已经发展到几十核、上百核，内存带宽也蹭蹭往上涨，结果数据在节点之间传输时卡在网卡上，这多憋屈？
IB就是为这种场景量身定做的。它采用通道架构，说白了就是数据在发送端和接收端之间建立一条专用通道，不需要经过复杂的协议栈处理。嗯，这里要注意，IB的协议栈比TCP/IP浅得多，所以延迟能压到微秒级甚至亚微秒级。
核心特点：
- 高带宽：当前主流HDR 200Gbps，NDR 400Gbps已经在路上了
- 低延迟：端到端延迟可低至1微秒以内
- CPU卸载：数据搬运不占用CPU资源，让CPU专心算
- RDMA能力：远程直接内存访问，数据从一台机器的内存直接搬到另一台
与传统以太网的区别
很多刚接触IB的同学会问：「它跟万兆以太网有啥区别？」我习惯用一个比喻来解释：以太网就像普通公路，什么车都能上，红绿灯多，堵车是常态；IB呢，更像高铁专线，只有特定列车跑，速度快、准时、不堵车。
具体差异我列个表，大家一目了然：
| 对比维度 | InfiniBand | 传统以太网 |
|---|---|---|
| 协议栈深度 | 浅，硬件卸载 | 深，CPU参与 |
| 延迟 | 亚微秒级 | 数十微秒级 |
| 数据搬运方式 | RDMA，零拷贝 | Socket，多次拷贝 |
| 流量控制 | 基于信用的流控 | 暂停帧/优先级流控 |
| 丢包处理 | 无丢包设计 | 丢包重传 |
| 管理复杂度 | 较高，需子网管理器 | 较低，自协商为主 |
我在项目中遇到过一件事：某次做HPC集群性能测试，用万兆以太网跑MPI程序，延迟一直在20微秒左右下不去。换成IB之后，直接降到1.2微秒。当时客户都惊了，问我是不是偷偷换了硬件。其实说白了，就是IB的架构设计决定了它天生适合这种场景。
个人经验：如果你的应用对延迟敏感（比如高频交易、实时仿真），或者需要大量节点协同计算（比如气象预报、基因测序），IB几乎是唯一选择。但如果是普通文件共享、Web服务，以太网完全够用，别盲目上IB。
核心组件：HCA、交换机、线缆
IB网络由三个核心组件构成，我一个个说。
1. HCA（主机通道适配器）
HCA就是IB网卡，但它跟普通网卡完全不是一个物种。普通网卡就是个数据搬运工，HCA更像一个智能协处理器。它内部有自己的处理器、内存、DMA引擎，能独立完成协议处理、数据搬运、错误恢复等工作。
我记得第一次拿到Mellanox的ConnectX-5 HCA时，拆开包装一看，这卡比普通网卡大一圈，散热片厚实得很。插上机器后，用ibstat命令一看，状态全绿，心里那个踏实。
HCA的关键参数：
- 端口速率：EDR 100Gbps、HDR 200Gbps、NDR 400Gbps
- 端口数量：1口或2口，2口可用于冗余或聚合
- PCIe接口：至少PCIe 3.0 x16，建议PCIe 4.0/5.0
- 支持特性：RDMA、GPUDirect、RoCE（部分型号）
避坑指南：我曾经遇到过HCA插在PCIe 2.0插槽上，结果带宽死活上不去。后来一查，PCIe 2.0 x8的理论带宽才40Gbps，根本喂不饱100Gbps的HCA。所以，HCA的PCIe带宽一定要匹配端口速率，否则就是大炮打蚊子。
2. IB交换机
IB交换机和以太网交换机最大的区别在于：它需要配合子网管理器（Subnet Manager，简称SM）工作。没有SM，IB交换机就是一堆废铁，端口之间不通。
SM负责整个IB子网的路由计算、路径分配、故障恢复。你可以把它理解成IB网络的「大脑」。SM可以运行在交换机上（嵌入式），也可以运行在独立服务器上。
交换机的关键参数：
- 端口密度：36口、40口、64口等
- 端口速率：EDR/HDR/NDR
- 管理方式：通过OpenSM或厂商管理工具
- 冗余设计：双电源、双管理模块
我个人习惯在部署IB网络时，至少准备两台交换机做冗余。一台挂了，SM自动切换到另一台，业务几乎无感知。嗯，这个后面讲高可用性方案时会详细展开。
3. 线缆
IB线缆分两种：铜缆和光缆。
铜缆：便宜，短距离（3-5米以内）用。我早期做小集群时全用铜缆，成本低，插上就能用。但铜缆又粗又硬，机柜理线是个体力活。
光缆：贵，长距离（几十米到几百米）用。光缆轻、细、传输距离远，但需要光模块配合。我记得有一次客户机房距离远，铜缆信号衰减严重，换成光缆后问题立刻解决。
选型建议：
- 机柜内互联：铜缆，成本优先
- 跨机柜/跨机房：光缆，性能优先
- 注意线缆的弯曲半径，别折了
- 光缆接口要清洁，灰尘是杀手
总结一下：IB网络的核心就是HCA、交换机、线缆这三样东西。HCA负责把数据从主机送出去，交换机负责在节点之间转发，线缆负责物理连接。三者缺一不可，任何一个环节出问题，整个集群的性能都会受影响。
好了，第一章的内容就到这里。IB架构的概貌大家应该有个基本认识了。下一章我们聊聊链路聚合的具体配置，我会拿实际案例来演示。有什么问题，欢迎课后交流。