1. InfiniBand技术概述
各位同学好，我是老张。今天咱们开始聊InfiniBand，这个在现代数据中心里越来越常见的技术。说实话，我第一次接触InfiniBand是在十年前的一个HPC项目里，当时客户要求搭建一套100Gbps的集群网络，我还在想「以太网不也挺好吗？」结果被现实狠狠教育了一顿——那套系统的性能瓶颈，恰恰就在网络这一层。
嗯，咱们今天就把InfiniBand的来龙去脉讲清楚。你想想看，为什么现在AI训练、超算、存储网络都离不开它？说白了，就是三个字：快、稳、省。
1.1 发展历程：从实验室到数据中心
InfiniBand最早是1999年由Intel、Microsoft、Compaq等公司联合推出的。当时的目标很明确——替代PCI总线，解决服务器内部I/O瓶颈。不过后来PCIe发展太快，InfiniBand就转向了服务器间互联。
我记得2005年左右，InfiniBand还只是科研机构的玩具。到了2010年，Mellanox（现在被NVIDIA收购了）推出了40Gbps的QDR产品，这才开始进入商业HPC领域。我在2012年参与的一个气象预报项目，用的就是QDR InfiniBand，当时觉得40Gbps已经快到离谱了。
现在呢？HDR 200Gbps、NDR 400Gbps都量产了。发展速度确实惊人。
| 代际 | 单链路速率 | 推出年份 | 典型应用 |
|---|---|---|---|
| SDR | 2.5 Gbps | 2001 | 早期科研集群 |
| DDR | 5 Gbps | 2004 | 中小型HPC |
| QDR | 10 Gbps | 2007 | 商业HPC |
| FDR | 14 Gbps | 2011 | 大型超算 |
| EDR | 25 Gbps | 2014 | AI训练集群 |
| HDR | 50 Gbps | 2018 | 现代数据中心 |
| NDR | 100 Gbps | 2021 | 下一代AI基础设施 |
1.2 技术特点：为什么它这么强？
InfiniBand的核心优势，我总结为三点。你记一下，后面固件升级的很多决策都跟这些特性有关。
1.2.1 高带宽
单链路速率从2.5Gbps一路飙到100Gbps。而且InfiniBand支持多链路聚合——4条链路绑在一起，就是400Gbps。我做过一个测试，4x NDR的网卡，实际吞吐量能跑到380Gbps以上，几乎线速。
为什么会这么高？因为InfiniBand的协议栈开销极小。以太网一个包进来，光MAC头、IP头、TCP头就要占几十个字节。InfiniBand呢？直接内存访问，数据从应用层到物理层，几乎不经过操作系统。
1.2.2 低延迟
这个才是InfiniBand的杀手锏。以太网延迟通常在10-100微秒级别，而InfiniBand可以做到1微秒以下。我参与过的一个金融高频交易项目，客户要求端到端延迟不超过5微秒。当时试了各种方案，最后只有InfiniBand能满足。
低延迟的秘密在于RDMA（远程直接内存访问）。说白了，就是数据从一个服务器的内存，直接搬到另一个服务器的内存，中间不经过CPU、不经过操作系统。你想想看，省了多少次拷贝和上下文切换？
1.2.3 低CPU开销
传统以太网，每收发一个数据包，CPU都要被中断一次。100Gbps的流量，CPU可能有一半的算力都花在网络处理上。InfiniBand不一样，它用硬件完成协议处理，CPU几乎零参与。
我在一个AI训练项目中做过对比：同样跑ResNet-50，用RoCE（RDMA over Converged Ethernet）时CPU占用率约15%，换成InfiniBand后直接降到2%以下。省下来的算力，全用在模型训练上了。
1.3 核心应用场景
现在InfiniBand主要用在三个地方。我一个个说。
1.3.1 HPC（高性能计算）
这是InfiniBand的老本行。全球TOP500超算里，超过一半在用InfiniBand。气象预报、基因测序、石油勘探——这些需要大规模并行计算的应用，对网络延迟极其敏感。
我记得有个客户做分子动力学模拟，集群有2000个节点。原来用万兆以太网，一个作业要跑3天。换成InfiniBand后，同样的作业只要8小时。为什么？因为节点间通信的等待时间几乎消失了。
1.3.2 AI训练集群
这两年最火的应用场景。大模型训练需要几百甚至上千张GPU卡协同工作，每轮迭代都要做梯度同步。如果网络慢了，GPU就在空转等数据。
我建议做AI基础设施的同学，优先考虑InfiniBand。虽然成本比以太网高一些，但训练效率的提升完全可以覆盖。一个实际案例：某互联网公司的千卡集群，用InfiniBand比用RoCE训练速度快了30%。
1.3.3 存储网络
这个可能很多人不知道。InfiniBand也广泛用于存储后端，连接NVMe全闪阵列。因为NVMe的延迟已经低到几十微秒了，如果网络延迟跟不上，存储性能就白费了。
我参与过的一个分布式存储项目，后端用InfiniBand组网，单节点IOPS轻松突破100万。换成25G以太网，同样的存储软件，IOPS直接腰斩。
1.4 本章小结
好了，咱们把InfiniBand的来龙去脉捋了一遍。总结一下：
- InfiniBand从1999年发展至今，速率从2.5Gbps提升到400Gbps
- 三大技术特点：高带宽、低延迟、低CPU开销
- 核心应用场景：HPC、AI训练、存储网络
下一章，咱们会深入网卡固件的具体结构，看看固件里到底藏着什么玄机。嗯，到时候我会分享一些「刷砖」的惨痛教训，保证让你印象深刻。
对了，如果你现在手头有InfiniBand设备，建议先查一下固件版本。命令很简单：ibstat | grep Firmware。看看你的固件是不是最新的？