📘 IB & RDMA 实战
🎒 30章 · 从入门到部署
01
IB网络概述
起源
InfiniBand架构起源、技术特点、与传统以太网区别、HPC/AI地位
02
RDMA技术原理
零拷贝
DMA/RDMA概念、零拷贝、内核旁路、CPU卸载、IB/RoCE/iWARP对比
03
英伟达网络产品线
Mellanox
收购史、ConnectX、BlueField DPU、Quantum/Spectrum、NVLink/NVSwitch
04
IB网络拓扑与架构
Fat-Tree
Fat-Tree拓扑、子网管理器SM、Partition、LID路由、自适应路由
05
RDMA编程基础
Verbs
Verbs API、ibv_open_device、PD/CQ/QP、内存注册MR、发送/接收WR
06
RDMA数据传输模式
RC/UD
RC、UD、RD、XRC选择策略，可靠连接与不可靠数据报
07
RDMA写操作详解
RDMA_WRITE
ibv_post_send + IBV_WR_RDMA_WRITE、远程写入、完成处理
08
RDMA读操作详解
RDMA_READ
ibv_post_send + IBV_WR_RDMA_READ、远程读取、同步机制
09
原子操作与同步
CAS
原子比较交换CAS、FetchAdd、锁机制、分布式同步应用
10
SRQ与共享接收队列
SRQ
SRQ原理、创建配置、减少QP资源消耗、部署注意事项
11
内存管理与注册
ibv_reg_mr
ibv_reg_mr详解、内存属性、钉扎、大页内存优化
12
完成队列与事件管理
CQ
ibv_create_cq、轮询/事件模式、完成处理优化、避免溢出
13
连接管理
CM
Communication Manager API、QP状态机、错误处理
14
多QP与多线程设计
并发
QP数量与性能、线程安全、绑定QP、共享CQ策略
15
GPUDirect RDMA
GDR
GPU与网卡直通、P2P、NCCL、NVIDIA+ConnectX配置
16
RoCE v2技术
拥塞控制
RoCEv2协议、PFC、ECN/DCQCN、与原生IB选型对比
17
IB网络性能调优
调优
MTU、流控、自适应路由、NUMA亲和性、中断绑定、PCIe
18
RDMA性能测试工具
perftest
ib_write_bw、ib_read_bw、ib_send_bw、带宽/延迟测试
19
常见问题排查
排错
QP错误、丢包定位、PCIe错误、内存注册失败、SM日志
20
IB网络管理
opensm
opensm配置、分区管理、路由策略、ibstat/ibdiagnet
21
多路径与容错
冗余
多路径传输、自适应路由AR、容错、链路切换、冗余设计
22
NVMe over Fabrics
NVMe-oF
NVMe-oF架构、RDMA传输、性能优势、与FC对比
23
分布式存储应用
Ceph
Ceph+RDMA、Lustre+IB、存储优化、部署案例
24
AI训练网络架构
DGX
DGX SuperPOD、LLM训练、AllReduce/AllGather优化
25
MPI与RDMA
OpenMPI
MPI over IB、UCX传输层、集合操作优化、性能数据
26
容器与RDMA
K8s
Docker设备映射、Kubernetes SR-IOV、Network Operator
27
安全与隔离
分区
分区隔离、IPsec over IB、信任域、安全最佳实践
28
未来趋势
Spectrum-X
Spectrum-X、超以太联盟UEC、CXL内存池化、AI网络演进
29
综合案例一
4节点IB集群
硬件选型、布线、opensm配置、RDMA测试、性能验证
30
综合案例二
键值存储
RDMA KV存储、内存池、网络协议、TCP vs RDMA、代码要点