📘 RoCE 性能调优 · 核心方法
30 章 · 从入门到专家
1
RoCE概述
RDMA技术背景 · RoCE v1/v2对比 · 选型分析
2
硬件选型
网卡推荐 · 交换机PFC/ECN · CPU/PCIe影响
3
网卡固件与驱动
固件版本 · 驱动安装 · 工作模式确认
4
操作系统基础调优
内核参数 · CPU隔离 · NUMA亲和性
5
PCIe配置
速率/宽度 · Payload Size · ACS关闭
6
MTU与流控
巨型帧 · 全局PFC · DCBX协商
7
ECN配置
ECN原理 · RED/WRED · 交换机/网卡标记
8
QoS与流量分类
802.1p · DCB · Traffic Class划分
9
RoCE模式选择
v1(L2) vs v2(L3) · UDP封装 · GID/MAC
10
GID与PKey配置
GID索引 · 分区键 · 多租户隔离
11
SR-IOV配置
VF创建 · MAC/VLAN · QoS限制
12
内存注册与MR
MR优化 · 大页 · Pinned Memory
13
QP与CQ调优
QP深度 · CQ大小 · 轮询 vs 中断
14
WR与SGE配置
WR大小 · SGE数量 · Inline Data
15
连接建立方式
RC/UC/UD · SRQ共享接收队列
16
拥塞控制算法
DCQCN · NP/CP/Alpha · ACC
17
Timely拥塞控制
基于RTT · Timely vs DCQCN · 延迟阈值
18
多路径与负载均衡
Bonding · RoCE over LAG · MPTCP协同
19
NVMe over RoCE
NVMe-oF · Namespace · IO队列深度
20
存储场景调优
iSER vs NFS · 读写比例 · 队列深度
21
AI/ML场景调优
AllReduce/AllGather · NCCL · 梯度压缩
22
监控与诊断工具
ibstat · perftest · ethtool · mlx5计数器
23
抓包与协议分析
tcpdump · Wireshark · UDP端口/QP映射
24
性能基准测试
延迟/带宽测试 · 多流并发
25
常见问题排查
丢包定位 · 连接超时 · 性能瓶颈
26
PFC死锁与风暴
死锁原理 · 风暴检测 · watchdog · 降级
27
ECN标记不足
RED调优 · 标记率监控 · DCTCP调整
28
多租户隔离
QoS队列 · PKey分区 · SR-IOV · 带宽保证
29
云环境RoCE
AWS EFA/Azure · K8s+RoCE · 虚拟化
30
未来趋势
400G/800G · CXL融合 · AI网络 · OpenRoCE