1. IB网络基础：InfiniBand架构概述
大家好，我是老张。做网络运维十几年了，从早期的以太网到后来的FC存储网络，再到现在的InfiniBand，我算是都摸过一遍。今天咱们聊聊IB网络的基础。说实话，我第一次接触IB时也懵——这玩意儿跟以太网差别太大了。但搞懂了它的设计思路，你会发现，IB其实很纯粹，就是为高性能计算而生的。
1.1 InfiniBand架构概述
InfiniBand，简称IB，是一种高性能、低延迟、低CPU开销的互联技术。它最早在1999年由Intel、Microsoft、Compaq等公司联合推出。嗯，你没看错，微软也参与过。但后来IB主要在高性能计算（HPC）和AI训练场景中扎下了根。
IB的核心设计理念是——把网络智能从CPU中解放出来。传统以太网中，CPU要处理大量的网络协议栈，这在高频通信场景下是个巨大的负担。IB通过硬件卸载和RDMA（远程直接内存访问）技术，让数据直接从一台机器的内存搬到另一台机器的内存，中间不经过CPU。说白了，就是让CPU专心算数，别管网络。
IB架构的核心特点：
- 高带宽：单端口从早期的SDR（2.5Gbps）到现在的NDR（400Gbps），翻了160倍
- 超低延迟：端到端延迟可以做到1微秒以内，以太网通常要几十微秒
- CPU卸载：RDMA技术让网络通信几乎不消耗CPU资源
- 可靠传输：硬件级别的流控和重传机制，丢包率极低
我在项目中遇到过最典型的场景：某AI训练集群，用100G以太网时，GPU利用率只有60%左右，瓶颈就在网络。换成IB后，GPU利用率直接飙到95%以上。你想想看，这差距有多大。
1.2 IB网络分层模型
IB的分层模型跟OSI七层模型有点像，但更精简。它主要分为四层：物理层、链路层、网络层、传输层。我习惯把这四层理解为——怎么连、怎么传、怎么找、怎么保证。
下面这张图是我自己画的，帮你快速建立整体认知：
物理层
物理层负责最底层的信号传输。它定义了电气特性、信号编码方式、连接器类型和速率等级。IB的物理层支持铜缆和光缆两种介质。铜缆便宜但距离短（一般5米以内），光缆贵但可以传几百米。
我记得有一次在数据中心调试，发现一台服务器的IB链路死活起不来。查了半天，结果是QSFP模块插反了——嗯，你没看错，IB的模块是有方向的。从那以后，我每次插模块都会先看箭头方向。
链路层
链路层是IB的核心层之一。它负责数据包的封装、流控和链路状态管理。这里有个关键概念——Credit机制。简单说，就是接收方告诉发送方：「我还有多少缓冲区可用」。发送方根据这个信息决定发多少数据。这跟以太网的停等协议完全不同，IB的Credit机制是硬件级别的，效率极高。
避坑指南：我曾经遇到过一个问题：IB链路明明物理层是Up的，但数据就是传不过去。后来发现是链路层的Credit协商失败了。排查时可以用 ibstatus 命令查看链路状态，重点关注 Rate 和 State 字段。
网络层
网络层负责数据包的路由和转发。IB使用两种地址：LID（本地标识符）和GID（全局标识符）。LID是16位的，只在子网内有效；GID是128位的，基于IPv6格式，用于跨子网通信。
你想想看，为什么IB需要两套地址？因为IB的设计初衷就是既要高效（子网内用短地址LID），又要可扩展（跨子网用长地址GID）。这跟以太网的MAC+IP组合有点像，但实现机制完全不同。
传输层
传输层是IB最复杂的层。它定义了多种服务类型：
| 服务类型 | 说明 | 典型场景 |
|---|---|---|
| 可靠连接（RC） | 一对一，保证有序、不丢包 | MPI通信、存储访问 |
| 不可靠连接（UC） | 一对一，不保证可靠 | 实时流媒体 |
| 可靠数据报（RD） | 多对多，保证可靠 | 集群管理 |
| 不可靠数据报（UD） | 多对多，不保证可靠 | 控制消息、广播 |
我个人习惯，在生产环境中90%的场景都用RC。虽然它消耗的资源多一些，但可靠性是第一位的。尤其是AI训练场景，一个数据包丢了，整个训练任务可能就要回滚，那代价太大了。
1.3 IB与以太网的区别
很多新手问我：「IB和以太网到底有啥区别？不都是连网线吗？」嗯，这个问题问得好。我列个表，你一看就明白：
| 对比维度 | InfiniBand | 以太网 |
|---|---|---|
| 设计目标 | 高性能计算、低延迟 | 通用互联、兼容性 |
| 延迟 | 亚微秒级（<1μs） | 微秒到毫秒级 |
| CPU卸载 | 硬件级RDMA，几乎不占CPU | 需要CPU处理协议栈（RoCEv2有部分卸载） |
| 流控机制 | Credit机制，无丢包 | 停等/PAUSE帧，可能丢包 |
| 拓扑结构 | 胖树（Fat-Tree）为主 | Spine-Leaf、传统树形 |
| 成本 | 较高（专用硬件） | 较低（生态成熟） |
| 生态 | HPC/AI专用 | 通用，覆盖所有场景 |
说白了，IB就是为极致性能而生的「偏科生」，以太网则是「全能选手」。选哪个，看你的业务场景。如果你跑的是AI训练、科学计算、高频交易，IB是首选。如果你做的是Web服务、视频流、办公网络，以太网更合适。
注意：不要以为IB比以太网「高级」就盲目上IB。IB的运维复杂度比以太网高不少。我曾经见过一个团队，上了IB后没人会配，最后又换回以太网。选型时一定要考虑团队的技术储备。
1.4 IB网络核心组件
IB网络的核心组件就三个：HCA、交换机、线缆。我一个个说。
HCA（主机通道适配器）
HCA就是IB网卡，但它比普通网卡复杂得多。HCA内部集成了完整的IB协议栈处理逻辑，包括DMA引擎、QP管理、CQ处理等。说白了，HCA就是一台微型计算机，专门处理网络通信。
常见的HCA型号有：
- ConnectX-5：支持EDR（100Gbps），经典款，很多老集群还在用
- ConnectX-6：支持HDR（200Gbps），目前主流
- ConnectX-7：支持NDR（400Gbps），最新款，价格感人
我建议，新项目直接上ConnectX-6或ConnectX-7。ConnectX-5虽然便宜，但性能差距明显，而且有些新特性不支持。别为了省那点钱，后面后悔。
交换机
IB交换机和以太网交换机最大的区别是——IB交换机是无阻塞的。什么意思？就是所有端口可以同时全速转发，不会出现背压。这得益于IB的Credit流控机制和胖树拓扑设计。
常见的IB交换机系列：
- QM系列：Quantum系列，支持HDR/NDR，适合大规模集群
- SB系列：Silicon-Based系列，性价比高，适合中小规模
- M系列：管理交换机，用于带外管理
我记得有一次，客户抱怨IB网络性能不稳定。我上去一看，交换机端口配置了混合速率——有的端口是EDR，有的是HDR。嗯，问题就在这里。IB交换机虽然支持速率自适应，但混合速率会引入额外的延迟和丢包。我建议，同一台交换机尽量统一速率。
线缆
IB线缆分两种：铜缆和光缆。
| 类型 | 最大距离 | 优点 | 缺点 |
|---|---|---|---|
| 铜缆（DAC） | 5-7米 | 便宜、即插即用 | 距离短、线缆粗重 |
| 光缆（AOC/有源光缆） | 100米+ | 距离远、轻便 | 贵、需要清洁 |
| 光模块+光纤 | 几百米到几公里 | 最灵活 | 成本最高、维护复杂 |
经验之谈：机柜内互联，用铜缆DAC就够了，便宜又稳定。跨机柜或跨列，用AOC光缆。如果距离超过100米，才考虑光模块+光纤。另外，光缆的接口一定要定期清洁，我见过太多因为接口脏导致链路不稳定的案例了。
好了，IB网络的基础知识就聊到这里。这些内容虽然基础，但非常重要。后面的章节我们会深入每个层的细节，以及常见的故障排查方法。记住一句话：基础不牢，地动山摇。IB网络的故障排查，90%的问题都出在物理层和链路层。把这两层搞透了，你就已经是个合格的IB运维了。
公众号:蓝海资料掘金营，微信deep3321