📘 IB网卡实战
30章 · 从入门到调优
⭐ 动手实验室
1
IB网络概述
概念
InfiniBand定义 · 与以太网区别 · HPC/AI场景
2
硬件识别与选型
选型
ConnectX系列 · 线缆光模块 · 固件确认
3
驱动安装准备
环境
OS检查 · 内核版本 · 依赖包(gcc,make,kernel-devel)
4
MLNX_OFED驱动下载
下载
官方源/镜像站 · 版本匹配 · MD5校验
5
MLNX_OFED驱动安装
安装
图形化/命令行 · 日志解读 · 错误处理
6
驱动验证与加载
验证
ibstat · ibv_devinfo · 内核模块状态
7
网络接口配置
配置
ib0 IP · OpenSM启动 · 链路状态
8
性能基准测试
测试
ib_write_bw · ib_read_lat · 结果分析
9
多节点连通性测试
连通
rping · ibping · MPI环测试
10
RDMA核心概念
原理
RDMA定义 · 零拷贝 · 内核旁路
11
RDMA编程基础
编程
Verbs API · QP创建管理 · MR机制
12
RDMA操作类型
操作
Send/Recv · Read/Write · 原子操作
13
RDMA CM
连接管理
建立/断开连接 · 事件处理
14
SR-IOV配置
虚拟化
VF创建分配 · 性能隔离
15
RoCE与IB对比
协议
RoCE v1/v2 · 配置要点 · 选型建议
16
性能调优基础
调优
MTU调整 · 流控 · 中断亲和性
17
NUMA感知调优
NUMA
CPU/网卡绑定 · 内存策略 · 实测
18
多网卡绑定与负载均衡
bonding
bonding配置 · LACP · 故障切换
19
GPUDirect RDMA
GPU
GPU与网卡直通 · P2P · NCCL优化
20
存储协议适配
存储
NVMe over Fabrics · iSER · SRP
21
MPI通信优化
MPI
OpenMPI+IB · UCX · 集合操作调优
22
监控与诊断工具
诊断
ibdiagnet · ibnetdiscover · perftest
23
日志与调试
调试
syslog · mlx5_core参数 · 动态调试
24
固件升级
固件
mlxup · 版本回退 · 安全注意事项
25
安全配置
安全
PKey分区 · 子网访问控制 · 加密
26
常见故障排查
排障
链路降速 · 丢包 · 驱动失败 · 性能不达标
27
容器化部署
容器
Docker+IB映射 · K8s RDMA插件 · SR-IOV CNI
28
云环境部署
云
AWS EFA · Azure IB · GCP GPUDirect-TCPX
29
大规模集群运维
运维
Ansible自动化 · 配置管理 · 健康检查
30
综合实战案例
实战
4节点IB集群 · HPL基准测试 · 全流程调优
✨