高性能网络RDMA · 课程目录

01 RDMA技术全景

DMA→RDMA InfiniBand vs RoCEv2 MR/QP/CQ/PD

02 RDMA编程模型

Verbs API 同步/异步事件通知

03 内存注册与管理

MR注册内存锁定代价大页/巨页

04 队列对QP状态机

Reset/Init/RTR/RTS 属性配置陷阱

05 完成队列CQ与轮询

Polling vs Event CQ深度避免CQ溢出

06 RDMA Send/Recv

WR构造 SGE列表立即数/零拷贝

07 RDMA Read/Write

单边操作远程内存访问 CAS/FAA

08 连接管理

CM建连 RDMACM vs 手动 QP迁移/故障恢复

09 性能基准测试

ib_write_bw ib_read_bw 延迟/带宽方法论

10 延迟剖析

软件栈延迟 PCIe延迟链路/NIC内部

11 带宽优化

MTU/LSO/GRO PCIe瓶颈多QP并行/流控

12 CPU卸载技术

Checksum卸载 TSS/RSS 多队列/RPS/RFS

13 零拷贝技术

内核旁路 DPDK+RDMA GPU Direct RDMA

14 拥塞控制

DCQCN ECN标记 PFC流控 RoCEv2拥塞

15 内存带宽与NUMA

NUMA感知 CPU亲和性跨Socket损失

16 多线程与并发

QP+线程绑定锁竞争优化无锁队列

17 中断与轮询平衡

NAPI 忙等待策略混合模式调优

18 性能监控工具

perf/sar ethtool rdma统计/ibstat

19 Profiling方法论

火焰图 perf top 热点函数/调用链

20 常见性能瓶颈

CPU饥饿内存带宽饱和 PCIe背压/过热降频

21 应用层优化

批处理/合并流水线设计异步回调

22 协议栈优化

GID索引 RoCEv2 PFC MTU/Jumbo Frame

23 硬件调优

NIC固件升级 BIOS设置 PCIe配置空间

24 大规模集群部署

Fabric管理子网管理器多路径/负载均衡

25 故障排查

丢包定位 CRC错误链路质量/重传

26 安全与隔离

保护域PD 内存隔离信任域TD

27 RDMA与存储

NVMe over Fabrics 键值存储分布式内存

28 RDMA与AI

分布式训练 AllReduce优化梯度通信

29 未来趋势

CXL互连智能网卡可编程数据平面

30 综合实战

高性能KV存储设计→调优全流程系统实战