📘
RoCE网络丢包排查实战
🎯 30章 从入门到专家 · 友好色系
📚
30 章节
🔥
实战排查
🧪
含实验
01
RoCE网络基础
入门
什么是RoCE？RoCEv1与RoCEv2的区别、技术优势与挑战、典型应用场景（存储/AI/HPC）
02
RoCE网络核心组件
核心
RDMA网卡(NIC)、支持PFC的交换机、无损网络概念、RoCE协议栈(IBTA与以太网融合)
03
RoCE网络丢包根因分析
根因
PFC死锁与优先级流控制、ECN与CNP、链路层错误(CRC/FCS)、缓冲区溢出与微突发
04
RoCE网络丢包排查工具
工具
ethtool、perftest(ib_write_bw/ib_read_lat)、tcpdump/Wireshark、交换机日志与计数器
05
PFC深度解析
流控
PFC工作原理、Watchdog与死锁检测、PFC风暴成因与影响、通过计数器定位丢包
06
ECN与CNP机制详解
拥塞
ECN标记过程、CNP生成与响应、DCQCN算法、ECN与PFC协同工作
07
RoCE网络性能基准测试
测试
perftest带宽/延迟测试、理解结果(BW/Latency/MPI)、测试中丢包观察
08
交换机侧排查
交换
MLAG/VPC配置、ACL/QoS策略、端口缓冲区配置、Head-of-Line阻塞排查
09
网卡侧排查
网卡
NIC固件版本与配置、Ring Buffer调整、中断合并与CPU亲和性、PCIe链路状态
10
操作系统与驱动排查
系统
内核参数调优(net.core.rmem_default)、RDMA驱动版本、NUMA与内存绑定、irqbalance
11
网络拓扑与布线排查
布线
光纤/铜缆质量、光模块兼容性(SFP+/QSFP)、链路协商速率、物理层误码率(BER)测试
12
拥塞管理策略
调优
DCQCN算法调优、Timely算法对比、动态阈值调整、基于流的ECN标记
13
PFC Watchdog与死锁恢复
死锁
Watchdog触发条件、死锁恢复机制、避免误触发、实际案例：一次PFC死锁排查
14
RoCE网络监控方案
监控
Prometheus+Grafana监控RoCE、关键指标(PFC帧/ECN标记率/CNP速率)、告警阈值
15
多路径与负载均衡
多路径
ECMP哈希算法影响、对称哈希重要性、MPIO配置、LACP与RoCE兼容性
16
虚拟机与容器场景排查
虚拟化
SR-IOV直通、VF的PFC/ECN支持、vSwitch影响、Kubernetes RoCE网络策略
17
存储场景专项排查
存储
NVMe-oF丢包影响、iSER与SRP对比、存储延迟敏感性、实际案例：集群性能抖动
18
AI/HPC场景专项排查
AI
AllReduce/AllGather通信模式、NCCL/MPI要求、梯度同步丢包影响、训练中断案例
19
RoCE网络日志分析
日志
系统日志(dmesg)、RDMA事件日志(ibv_devinfo)、交换机syslog、关联分析技巧
20
抓包与协议分析
抓包
RoCE链路抓包(tcpdump -i eth0 sctp)、解析帧结构(BTH+ETH+IP+UDP)、重传/NACK、Wireshark过滤
21
端到端延迟分析
延迟
延迟组成(NIC+交换机+链路)、ib_read_lat测量、抖动(Jitter)影响、优化延迟方法
22
吞吐量瓶颈分析
吞吐
理论带宽与实际差异、TCP/IP与RoCE吞吐对比、窗口大小与流控、多流提升吞吐
23
RoCE网络设计最佳实践
设计
Spine-Leaf vs 传统三层、冗余设计、MTU(9000巨帧)、QoS配置模板
24
常见故障场景与解决方案
故障
PFC风暴、ECN未生效、链路误码、配置不一致导致连接失败 (4大场景)
25
自动化排查脚本编写
自动化
Python调用ethtool/perftest、解析SNMP、生成排查报告、一键健康检查脚本
26
RoCE网络性能调优案例
调优
存储集群延迟200us→50us、AI训练吞吐提升30%、PFC死锁从每周降到零
27
RoCEv2与RoCEv1迁移指南
迁移
RoCEv1局限性(L2依赖)、RoCEv2优势(IP路由)、迁移步骤与兼容性测试
28
RoCE网络安全性
安全
安全风险(无加密/无认证)、IPsec保护RoCE、MACsec兼容性、VLAN/VXLAN隔离
29
RoCE网络未来趋势
未来
400G/800G RoCE演进、无损网络与AI Fabric、RoCE与CXL互连、SONiC支持
30
综合实战：从零搭建RoCE环境
实战
配置PFC/ECN/QoS、运行perftest、模拟丢包排查、输出完整排查报告