4. IB网络配置：子网、分区、QoS与自适应路由
好，咱们进入正题。IB网络的配置，说白了就是给高速网络“立规矩”。你硬件搭得再好，线缆插得再牢，配置不对，性能也出不来。我这些年处理过的故障，至少有一半跟配置有关。今天咱们就把子网、分区、QoS和自适应路由这四块核心配置讲透。
核心要点：IB配置的本质是“控制”——控制谁可以通信、控制流量优先级、控制数据路径。这三件事搞定了，网络就稳了。
4.1 子网配置——网络的“身份证”系统
IB子网，你可以把它理解成一个独立的“通信王国”。每个子网里有一个子网管理器（SM），它负责给所有端口发“身份证”——也就是LID（Local Identifier）。
子网配置的核心步骤：
- 启动子网管理器——通常用 opensm 或厂商自带工具
- 配置GUID到LID的映射——给每个端口分配固定地址
- 设置子网前缀——默认是0xfe80000000000000
- 验证拓扑——用 ibnetdiscover 检查所有节点是否在线
我的经验：刚入行时我总以为SM随便跑在哪都行。后来有一次生产环境，SM跑在性能较差的节点上，结果网络重配置时卡了整整两分钟。记住，SM一定要放在最稳定的节点上，最好是专用的管理节点。
实际配置中，我习惯用 opensm 的配置文件来固化设置。举个例子：
# /etc/opensm/opensm.conf
# 设置子网管理器优先级（0-15，越小优先级越高）
priority 5
# 启用路由优化
routing_engine ftree
# 设置LID分配范围
min_lid 0x0001
max_lid 0xbfff
# 启用日志
log_file /var/log/opensm.log
log_level 2启动命令很简单：opensm -c /etc/opensm/opensm.conf。嗯，这里要注意，如果你有多台交换机，记得把优先级错开，避免主备切换时出现“双主”的情况。
4.2 分区配置——网络的“门禁系统”
分区（Partition）是IB网络里最常用的隔离手段。说白了，就是给不同的业务划“安全区”。比如你的AI训练集群和存储集群，如果不做分区隔离，流量互相干扰，性能会很难看。
分区的核心概念：
- P_Key——分区的“门禁卡”，16位标识符
- 成员类型——Full Member（全权）和 Limited Member（受限）
- 默认分区——所有端口默认在0x7fff分区中
避坑指南：我曾经遇到过一个案例，新加的GPU节点死活连不上存储。查了两天，最后发现是P_Key配错了——新节点的P_Key是0x0002，但存储端只认0x0001。记住，分区配置一定要两端一致，而且要注意大小端字节序的问题。
用 ibswitches 和 ibportstate 可以查看当前分区状态。配置分区通常通过SM的配置文件或命令行工具完成：
# 创建分区（使用opensm的partition config文件）
# /etc/opensm/partitions.conf
Partition=AI_Training, PKey=0x0001, ipoib=false, rate=4x
member=full, guid=0x001122334455
member=full, guid=0x001122334456
Partition=Storage, PKey=0x0002, ipoib=false, rate=4x
member=full, guid=0x001122334457
member=full, guid=0x001122334458你想想看，如果没有分区，所有流量混在一起，一个节点出问题可能拖垮整个网络。分区就是给网络上了“保险”。
4.3 QoS配置——给流量“分等级”
QoS在IB网络里不是可选项，而是必选项。尤其是AI训练场景，AllReduce的流量和普通的控制流量混在一起，不做QoS，训练效率至少掉20%。
QoS的三个关键参数：
| 参数 | 说明 | 我的建议值 |
|---|---|---|
| SL（Service Level） | 服务等级，0-15共16级 | 高优先级用SL=3，低优先级用SL=0 |
| VL（Virtual Lane） | 虚拟通道，每个端口最多16条 | 至少分配4条VL给数据流量 |
| MTU | 最大传输单元 | 数据面用4096，控制面用2048 |
配置QoS时，我一般会先做流量分析。用 perfquery 看看哪些端口的拥塞最严重，然后针对性地调整SL到VL的映射。
# QoS配置示例（opensm）
# /etc/opensm/qos.conf
qos_policy=1
# 定义SL到VL的映射
sl2vl=0:0,1:1,2:2,3:3
# 设置每个VL的带宽权重
vl_arb=0:weight=20,1:weight=30,2:weight=30,3:weight=20
# 高优先级流量（如MPI AllReduce）
sl=3, vl=3, weight=40个人习惯：我通常把SL 0-1留给管理流量，SL 2-3留给数据流量。这样即使数据面打满，管理面还能正常收发心跳包。有一次客户说交换机莫名其妙重启，查了半天发现是管理流量被数据流量饿死了——这就是QoS没做好的典型后果。
4.4 自适应路由配置——让网络“自己找路”
自适应路由（AR）是IB网络里比较高级的功能。传统路由是静态的，数据走固定路径。AR不一样，它会根据实时拥塞情况动态调整路径。
AR的工作原理：
- 每个交换机端口监控自己的拥塞状态
- 当某个端口拥塞超过阈值，自动将流量切换到备用路径
- 切换过程对上层应用透明，毫秒级完成
配置AR需要硬件支持（比如Mellanox的Quantum系列交换机），并且要开启对应的功能：
# 在交换机上启用自适应路由
# 使用MLNX-OS命令行
switch (config) # ib adaptive-routing enable
# 设置拥塞阈值（默认是80%）
switch (config) # ib adaptive-routing congestion-threshold 75
# 查看AR状态
switch (config) # show ib adaptive-routing status我曾经踩过的坑：AR不是万能的。有一次我在一个拓扑不对称的集群里开了AR，结果流量反而更乱了。为什么？因为AR依赖的备用路径本身带宽就不够，切换过去反而加剧了拥塞。所以，AR一定要配合对称拓扑使用，否则适得其反。
另外，AR和QoS要配合使用。我建议把高优先级的流量（比如MPI通信）开启AR，低优先级的流量保持静态路由。这样既保证了关键业务的性能，又避免了低优先级流量频繁切换带来的开销。
小结
这四块配置，说白了就是给IB网络“立规矩、设门禁、分等级、找捷径”。子网是基础，分区是安全，QoS是性能，AR是优化。你把这四块吃透了，IB网络的基本盘就稳了。
嗯，最后提醒一句：配置完成后，一定要做压力测试。我习惯用 ib_write_bw 和 ib_send_bw 跑一轮，看看实际带宽和延迟是否符合预期。别等到上线了才发现配置有问题，那时候就晚了。