一、IB网络概述：InfiniBand架构简介
各位好，我是老张。做InfiniBand网络这行快十年了，今天咱们聊聊IB网络的基础。
InfiniBand，简称IB，是一种高性能计算互联技术。说白了，它就是专门为超算中心和AI集群设计的高速公路。我最早接触IB是在2016年，当时一个客户要做气象模拟，千兆以太网根本跑不动，换了IB之后，性能直接翻了三倍。
IB架构的核心思想很简单：高带宽、低延迟、低CPU开销。它不像传统网络那样依赖CPU处理数据包，而是通过硬件直接完成数据传输。嗯，这里要注意，IB的延迟可以做到1微秒以内，而普通万兆以太网通常在10微秒以上。
IB架构的关键特征：
- 通道式I/O架构，数据直接在内存间传输
- 支持RDMA（远程直接内存访问）
- 端到端流量控制，几乎不丢包
- 子网管理机制，自动发现和配置
我画了一张图，帮你理解IB的整体架构：
IB网络与传统以太网的区别
你可能会问：为什么不用现成的以太网？非要搞一套IB？
我直接说结论：场景不同。以太网是通用网络，什么都能干。IB是专用网络，只干一件事——高性能数据传输。
| 对比项 | InfiniBand | 传统以太网 |
|---|---|---|
| 延迟 | 0.5-2微秒 | 10-50微秒 |
| 带宽 | 单端口200-400Gbps | 单端口25-100Gbps |
| CPU卸载 | 完全硬件卸载 | 部分卸载（需要CPU参与） |
| 丢包率 | 几乎为零（端到端流控） | 有丢包（TCP重传） |
| 拓扑结构 | 胖树、Torus等 | CLOS、Spine-Leaf |
| 管理协议 | 子网管理器（SM） | SNMP、NETCONF |
我记得有一次，客户用以太网跑MPI并行计算，1000个节点通信，延迟高得离谱。换成IB之后，同样的代码，性能提升了4倍。为什么？因为IB的RDMA机制让数据直接从一台机器的内存搬到另一台，CPU根本不用管。
我的经验：如果你的应用是HPC、AI训练、大数据分析这类需要频繁跨节点通信的场景，IB是首选。如果是普通Web服务、文件共享，以太网就够了。
IB网络的核心组件
1. HCA（主机通道适配器）
HCA就是IB网络中的网卡。但和普通网卡不一样，它是个智能设备。
- 功能：负责将数据从主机内存搬到IB网络，或者反过来
- 特点：内置DMA引擎，支持RDMA操作
- 常见型号：Mellanox ConnectX-5/6/7，单端口200G/400G
- 接口：PCIe 4.0/5.0 x16
我习惯把HCA比作「数据搬运工」。它不需要CPU指挥，自己就能把数据搬来搬去。嗯，这里有个坑——HCA的固件版本一定要和交换机匹配，我曾经因为固件不匹配，折腾了两天排查问题。
避坑指南：我曾经遇到过HCA散热问题。IB卡功耗比普通网卡高得多（25W-35W），服务器散热不好会导致降速。建议在BIOS中把PCIe槽位设置为Gen4，不要自动协商。
2. IB交换机
IB交换机和以太网交换机最大的区别是：它不靠MAC地址转发，而是靠LID（本地标识符）和GID（全局标识符）。
交换机内部运行着子网管理器（SM），负责计算路由表。你想想看，一个36端口的交换机，要管理几千条路径，全靠SM自动完成。
| 交换机类型 | 端口速率 | 典型端口数 | 适用场景 |
|---|---|---|---|
| QDR | 40Gbps | 36 | 中小型集群 |
| FDR | 56Gbps | 36 | 中型HPC |
| EDR | 100Gbps | 36 | 大型超算 |
| HDR | 200Gbps | 40 | AI训练集群 |
| NDR | 400Gbps | 32 | 最新一代超算 |
我个人建议，选型时不要只看端口速率，还要看交换机的缓存大小和转发延迟。HDR交换机通常有16MB以上的片上缓存，这对突发流量很重要。
3. IB线缆
IB线缆分两种：铜缆和光缆。
- 铜缆（DAC）：便宜，短距离（3-5米），适合机柜内互联
- 光缆（AOC/有源光缆）：贵，长距离（10-100米），适合跨机柜
- 光模块+光纤：最灵活，但成本最高
我的经验：机柜内互联用铜缆就够了，别花冤枉钱上光缆。但跨机柜一定要用光缆，铜缆超过5米信号衰减严重。我曾经见过一个项目，为了省钱用了10米铜缆，结果链路不稳定，天天报CRC错误。
另外，IB线缆的接口是QSFP系列（QSFP28/QSFP56/QSFP-DD），和以太网的QSFP外观一样，但电气特性不同。别混用，混用会烧端口。
好了，IB网络的基础就这些。记住三个核心：HCA是入口，交换机是枢纽，线缆是通道。下一节咱们聊子网管理器怎么配置。