📘 RoCE 部署实战
30 章 · 从入门到集群
⚡ 高性能计算 · 友好色系
1
RoCE技术概述
RDMA背景 · v1/v2对比 · vs InfiniBand
➔
2
硬件选型与准备
Mellanox/Chelsio/Broadcom · 交换机 · 线缆
➔
3
操作系统与驱动安装
内核要求 · MLNX_OFED · 固件升级
➔
4
网络架构设计
Fat-Tree · Spine-Leaf · PFC/ECN
➔
5
DCQCN拥塞控制
ECN标记 · CNP处理 · 参数调优
➔
6
PFC优先级流控制
802.1Qbb · 死锁避免 · Watchdog
➔
7
ETS增强传输选择
802.1Qaz · 带宽分配 · 严格优先级
➔
8
RoCE的VLAN与QoS映射
PCP · DSCP · 信任模式
➔
9
IP路由与RoCE
三层路由 · UDP封装 · 跨子网
➔
10
多路径与负载均衡
ECMP · 流亲和性 · 乱序问题
➔
11
内存注册与MR管理
ibv_reg_mr · 锁页 · 大页缓存
➔
12
QP队列对管理
状态机 · RC/UC/UD · 数量规划
➔
13
CQ与事件管理
轮询/事件 · 中断合并 · 自适应
➔
14
SRQ共享接收队列
原理 · 内存节省 · 多QP共享
➔
15
RoCE延迟优化
零拷贝 · 内核旁路 · DPDK
➔
16
带宽测试与基准
ib_write_bw · perftest · 瓶颈分析
➔
17
延迟测试与微基准
ib_write_lat · 尾延迟 · 分布分析
➔
18
MPI与RoCE集成
OpenMPI · UCX · Allreduce调优
➔
19
NVMe over Fabrics
NVMe-oF · RDMA · SPDK集成
➔
20
分布式存储与RoCE
Ceph RDMA · Lustre · BeeGFS
➔
21
AI训练与RoCE
NCCL · AllReduce · 梯度压缩
➔
22
容器化RoCE
Docker RDMA · K8s · SR-IOV
➔
23
监控与遥测
ethtool · mlxstat · Prometheus
➔
24
故障排查方法论
丢包 · PFC风暴 · QP错误
➔
25
性能调优案例
超算中心 · 参数对比 · 经验
➔
26
安全与隔离
信任域 · IPsec · 租户隔离
➔
27
多租户场景
云环境 · QoS · 带宽保证
➔
28
RoCE与智能网卡
BlueField DPU · 可编程 · 硬件卸载
➔
29
未来趋势
RoCE v3 · CXL融合 · UEC
➔
30
综合实战
从零搭建集群 · 配置清单 · 验收
➔