子网管理器（SM）基础：OpenSM原理、主备SM选举机制、SM配置参数详解
聊到InfiniBand网络，有个东西你绕不开——子网管理器，简称SM。说白了，它就是整个IB网络的大脑。没有它，交换机就是一堆废铁，端口之间根本不知道谁该跟谁说话。
我刚开始接触IB网络时，总觉得SM就是个后台服务，跑起来就行。后来有一次线上故障，主SM挂了，备SM半天没接管，整个集群通信中断了十几分钟。嗯，从那以后，我对SM的选举机制和参数配置再也不敢马虎了。
OpenSM的工作原理
OpenSM是跑在Linux上的开源子网管理器，也是Mellanox（现NVIDIA）官方推荐的标准实现。它的核心任务就三个：发现、计算、下发。
- 发现：SM通过发送SMP（子网管理包）探测所有交换机、HCA卡、路由器，构建出完整的网络拓扑图。
- 计算：根据拓扑和路由算法（比如最短路径、自适应路由），计算出每个端口的转发路径。
- 下发：把计算好的路由表写入交换机的硬件转发表中，让数据包知道该往哪走。
你想想看，这个过程其实跟OSPF这类路由协议有点像，但IB网络是集中式管理，所有决策都由SM来做。我个人习惯把SM看作「中央交通指挥中心」，交换机只是听话的交警。
重要概念：SM管理的是LID（本地标识符）分配和路径计算。每个IB端口在子网中都有一个唯一的LID，SM负责分配和维护这个映射关系。
我记得有一次排查性能问题，发现某些端口的LID分配混乱，导致路由不对称。后来查了半天，原来是SM配置里LID范围设得太小，自动分配时出现了冲突。所以，LID范围这个参数，千万别设得太抠门。
主备SM选举机制
单点故障是生产环境的大忌。IB网络允许你部署多个SM，但同一时刻只有一个主SM（Master）在干活，其他的都是备SM（Standby）。
选举过程其实不复杂，我尽量用大白话讲清楚：
- 每个SM启动时，先发一个「Hello」包，告诉全网自己来了。
- 如果当前没有主SM，大家就比优先级（Priority）。优先级高的当选。
- 如果优先级一样，就比GUID（全球唯一标识符）。GUID小的当选。
- 主SM会定期发心跳包。备SM如果连续收不到心跳，就认为主SM挂了，触发重新选举。
避坑指南：我曾经遇到过主SM和备SM之间网络延迟过大，导致备SM误判主SM宕机，频繁触发选举。结果网络一直处于震荡状态，业务时断时续。解决方案是把心跳超时参数调大，或者把SM部署在同一个管理网段内。
选举完成后，主SM会把自己的状态同步给备SM。备SM虽然不干活，但会实时接收主SM的更新数据。这样一旦主SM挂了，备SM能无缝接管，不需要重新发现全网拓扑。
说白了，这就是个「热备」机制。我个人建议在生产环境中至少部署两个SM，一个主一个备，优先级分别设为8和4（默认是5）。这样主备关系清晰，不会出现平级竞争的情况。
SM配置参数详解
OpenSM的配置文件通常叫opensm.conf，里面参数不少，但真正需要你关心的其实就十几个。我挑几个最关键的讲一下。
| 参数名 | 默认值 | 说明 |
|---|---|---|
priority |
5 | SM优先级，范围0-15。值越大优先级越高。主SM建议设8，备SM设4。 |
sm_guid |
自动 | 指定SM的GUID。一般不用手动设，除非你有特殊需求。 |
lid |
自动 | SM自身的LID。建议手动指定一个固定值，方便管理。 |
routing_engine |
ftree | 路由引擎类型。常用的是ftree（胖树）和dor（确定性路由）。 |
max_lid |
49151 | 可分配的LID最大值。如果你的网络规模大，建议调高到65535。 |
polling_timeout |
2000 | 心跳超时时间，单位毫秒。网络延迟大的环境建议调大到5000。 |
log_file |
/var/log/opensm.log | 日志文件路径。调试时一定要打开，生产环境建议轮转。 |
我的小技巧：调试阶段把log_level设为0xFF（全量日志），能看到SM每一步的决策过程。上线前再改回默认值，否则日志会刷爆磁盘。
还有一个参数容易被忽略——sm_priority和sm_state。这两个参数配合使用，可以手动控制SM的角色。比如你想让某个SM永远当备机，就把它的优先级设成0。
嗯，这里要注意：routing_engine的选择直接影响网络性能。胖树拓扑用ftree，非胖树拓扑用dor或updn。我见过有人把胖树网络配成dor，结果带宽利用率只有60%。
# 一个典型的OpenSM配置示例
# 文件路径：/etc/opensm/opensm.conf
priority 8
sm_guid 0x0002c903000a0001
lid 0x0001
routing_engine ftree
max_lid 65535
polling_timeout 5000
log_file /var/log/opensm.log
log_level 0x0F
这个配置里，我把优先级设成了8，确保它是主SM。LID手动指定为1，方便记忆。路由引擎用ftree，适合大多数HPC场景。日志级别设成0x0F，既能看到关键信息，又不会太啰嗦。
最后说一句，SM的配置不是一劳永逸的。网络拓扑变了、节点数增加了、业务模型改了，都可能需要调整参数。我个人习惯每次变更后都跑一遍ibdiagnet做健康检查，确认路由正确、链路正常。
好了，SM的基础知识就讲到这里。下一章我们会深入OpenSM的高级特性，包括分区管理（PKey）和自适应路由（AR）。到时候再聊。