一、IB网络基础与监控体系概述

大家好，我是老张。在数据中心摸爬滚打了十几年，从千兆以太网一路干到现在的InfiniBand，踩过的坑比走过的路还多。今天咱们聊聊IB网络的基础和监控体系——说白了，就是告诉你IB是什么、为什么盯着它看、以及该看哪些指标。

1.1 InfiniBand架构简介

InfiniBand，简称IB，是一种高性能计算互联技术。你可能听说过它用在超算中心、AI训练集群里。嗯，没错，它就是那个让GPU之间疯狂传数据的“高速公路”。

IB的架构其实不复杂，我习惯把它拆成三层来看：

• 物理层：负责比特流的传输。IB的物理连接用的是铜缆或光缆，速率从早期的SDR（2.5Gbps）到现在的NDR（400Gbps），发展很快。我个人建议，新项目直接上HDR或NDR，别省那点钱。
• 链路层：负责数据帧的封装、流控和错误检测。IB的链路层有个好东西叫“信用流控”，能防止数据包丢失。我在项目中遇到过，有些厂商的网卡实现不标准，导致信用机制出问题，整个集群性能直接腰斩。
• 网络层：负责路由和转发。IB用的是全局标识符（GID）和局部标识符（LID）来寻址，跟IP网络不太一样。你想想看，IB交换机内部的路由表是线速转发的，延迟极低。

我记得第一次接触IB时，被它的“子网管理器”（Subnet Manager）搞懵了。这东西负责整个IB网络的初始化、路由计算和故障恢复。说白了，它就是IB网络的“大脑”。没有它，IB交换机就是一堆废铁。

1.2 链路质量监控的重要性

为什么要监控IB链路质量？这个问题我问过很多刚入行的朋友。他们的第一反应是：“IB不是号称零丢包吗？还监控啥？”

嗯，这里要注意。IB的“零丢包”是在正常工况下。一旦链路出现物理层问题（比如光模块老化、光纤弯曲半径过小），或者配置错误（比如MTU不匹配），丢包就来了。而且IB的丢包不像以太网那样温和——它会导致整个集群的通信阻塞，性能断崖式下跌。

我曾经处理过一个案例：某AI训练集群，每训练几个小时就卡死一次。排查了三天，最后发现是两根光纤的端面脏了，导致链路误码率升高。IB的链路层不断重传，最终把网络搞瘫了。从那以后，我养成了一个习惯：每天必看链路误码率指标。

链路质量监控的价值，我总结为三点：

1. 提前发现隐患：光模块的劣化、光纤的微弯，这些在完全断连之前都会有征兆。监控能让你在用户投诉之前就处理掉。
2. 定位故障根因：当集群性能异常时，链路质量数据能帮你快速判断是网络问题还是计算节点问题。
3. 保障SLA：对于生产环境，链路质量监控是运维的“眼睛”。没有它，你就是在盲人摸象。

1.3 监控指标体系总览

IB链路质量监控的指标，我习惯分成四大类。下面这张图能帮你快速建立整体认知：

下面我详细说说每个大类都包含什么：

物理层指标

这是最底层的指标，直接反映硬件健康状况。我重点关注：

• 信号强度：光模块的接收光功率。如果低于阈值，说明光纤或模块有问题。
• 误码率（BER）：比特出错的概率。IB的误码率要求通常低于10^-12。一旦超过，链路就不稳定了。
• 光模块温度：温度过高会导致模块寿命缩短。我见过一个机房，空调故障导致光模块温度飙到80度，结果一晚上坏了十几个模块。

链路层指标

这一层关注的是数据帧的传输质量：

• CRC错误：帧校验失败的次数。这个指标一旦增长，基本可以断定链路有问题。
• 链路重传：IB的链路层有重传机制。重传率超过0.1%就要警惕了。
• 信用机制状态：IB的流控依赖信用值。信用值耗尽意味着发送端在等待，性能会下降。

网络层指标

这一层反映的是路由和转发质量：

• 路由跳数：数据包经过的交换机数量。跳数越多，延迟越大。
• 拥塞通知：IB有拥塞控制机制，当交换机检测到拥塞时会发送通知。这个通知的数量能反映网络负载情况。
• 负载均衡：多路径环境下，各路径的流量分布是否均匀。不均匀会导致某些链路过载。

传输层指标

这一层直接面向应用：

• 吞吐量：单位时间内传输的数据量。这是最直观的性能指标。
• 延迟：数据包从发送到接收的时间。IB的延迟通常在微秒级。
• 连接数：当前活跃的QP（队列对）数量。连接数异常增长可能意味着应用有问题。

好了，这一章的内容就到这里。IB的基础架构和监控体系，说白了就是“三层架构、四类指标”。你只要记住：物理层看硬件健康，链路层看传输质量，网络层看路由效率，传输层看应用体验。下一章我们会深入每个指标的采集方法和阈值设定，到时候再细聊。

---