📘 RoCE网卡选型与配置实战指南
🧭
30章 · 从入门到实战
01
RoCE技术概览
什么是RoCE · v1 vs v2 · iWARP对比 · 存储/AI/HPC场景
02
RoCE网卡核心参数
带宽25G~400G · PCIe Gen3/4/5 · 端口数 · 延迟指标
03
主流网卡厂商与型号
Mellanox ConnectX · Broadcom NetXtreme · Intel Ethernet
04
RoCE网卡选型方法论
业务匹配 · 带宽与PCIe计算 · 端口密度 · 功耗散热
05
RoCE交换机选型
无损网络 · PFC/ECN · 缓存大小 · 端口速率匹配
06
RoCE网络架构设计
Spine-Leaf · Fat-Tree · RoCE组网原则
07
驱动安装与固件升级
MLNX_OFED安装 · 固件更新 · 确认驱动加载
08
RDMA核心概念
RC/UC/UD · QP · CQ · MR内存注册
09
RoCE配置基础
ibdev2netdev · ibstat · ibv_devinfo · IP配置
10
PFC优先级流控配置
DCB原理 · 交换机与网卡PFC · 验证PFC
11
ECN显式拥塞通知配置
ECN原理 · RED/WRED · 标记与CNP报文
12
DCQCN拥塞控制算法
DCQCN原理 · α/g/Kmin/Kmax调优 · 实战经验
13
RoCE QoS配置
流量分类 · 优先级映射 · 带宽保证 · 限速
14
多路径与负载均衡
ECMP · 动态负载均衡 · 哈希算法选择
15
RoCE安全配置
GID过滤 · 信任域 · IPsec over RoCE
16
性能调优工具
perftest · ib_write_bw/ib_read_lat · qperf · netperf
17
性能基准测试
带宽测试 · 延迟测试 · 多流并发 · CPU监控
18
常见问题排查
丢包定位 · ethtool/perfquery · 延迟抖动 · 连接失败
19
RoCE与存储协议
NVMe over RoCE · iSER · SRP配置与优化
20
RoCE与AI/HPC框架
NCCL over RoCE · MPI over RoCE · Horovod
21
RoCE over 数据中心网络
VXLAN over RoCE · IP路由 · 网关配置
22
RoCE多租户环境
SR-IOV · VF配置 · 租户隔离
23
监控与告警
Prometheus+Grafana · RoCE指标 · 告警项设置
24
日志与诊断
dmesg · RDMA事件日志 · tcpdump for RoCE
25
固件配置
NVRAM设置 · 持久化配置 · 固件参数调优
26
操作系统兼容性
Linux内核 · Windows Server · VMware ESXi
27
大规模部署经验
Ansible自动化 · 批量固件升级 · 配置一致性
28
故障恢复与高可用
LACP · 快速故障检测 · Graceful Shutdown
29
RoCE未来演进
400G/800G · CXL融合 · 无损网络新标准
30
综合实战案例
选型到部署全流程 · 问题复盘 · 最佳实践总结