子网管理器（SM）原理：SM的作用、主备SM选举机制、SM对端口的初始化流程、常见的SM软件
聊到InfiniBand网络，有个角色你绕不开——子网管理器，简称SM。说白了，它就是整个IB子网的“大脑”。没有它，交换机端口全是黑的，节点之间谁也找不到谁。我刚开始接触IB的时候，总觉得SM就是个配置工具，后来踩过几次坑才明白，它的地位比我想象中重要得多。
SM到底在干什么？
SM的核心任务就三件：发现网络拓扑、分配路径、监控状态。你想想看，一个IB子网里可能有几百个节点、几十台交换机，谁跟谁连、走哪条路、带宽够不够，这些事总得有人管吧？SM就是干这个的。
具体来说，SM会做以下几件事：
- 发现拓扑：通过发送SMP（子网管理包）报文，SM能摸清所有交换机、HCA（主机通道适配器）之间的连接关系。我在一次部署中遇到过，因为光纤插错端口，SM发现拓扑后直接报错，帮我省了半天排查时间。
- 分配LID：每个端口都需要一个唯一的本地标识符（LID）。SM负责分配，范围是0x0001到0xBFFF。嗯，这里要注意，LID 0x0000是保留的，别乱用。
- 计算路由：根据拓扑和策略，SM会为每对节点计算最佳路径。多路径路由（比如LASH、DOR）也是在这步完成的。
- 监控与恢复：SM会定期轮询所有交换机，一旦发现链路断开或端口down掉，它会重新计算路由，保证网络不瘫痪。
一句话总结：SM就是IB网络的“交通指挥中心”。没有它，数据包连门都出不去。
主备SM选举机制：谁说了算？
一个子网里可以跑多个SM，但同一时刻只有一个“主SM”在干活。其他的都是“备SM”，随时准备接班。为什么要这么设计？说白了就是高可用。万一主SM挂了，备SM能立刻顶上，网络不至于全瘫。
选举过程是这样的：
- 启动阶段：每个SM启动后，先发一个“Hello”报文，告诉所有人“我来了”。
- 优先级比较：SM有一个优先级字段（0-255），数值越大优先级越高。如果两个SM优先级一样，就比GUID（全局唯一标识符），GUID小的胜出。
- 主SM确认：优先级最高的SM成为主SM，其他SM自动进入“备用”状态。主SM会定期发送“Master”报文，证明自己还活着。
- 故障切换：如果备SM连续几次没收到主SM的心跳，就会重新发起选举。我曾经遇到过，因为网络拥塞导致心跳延迟，备SM误判主SM挂了，结果两个SM抢着做主，搞得网络一阵混乱。后来我调整了心跳超时时间，问题才解决。
我的经验：生产环境中，我建议至少部署两个SM，一个做主，一个做备。优先级分别设为8和4，这样主SM挂了，备SM能快速接管。别把优先级设成一样，否则GUID小的那个总是赢，万一它性能差，反而拖累网络。
SM对端口的初始化流程
当一个端口（比如HCA或交换机端口）第一次接入网络时，SM会按以下步骤把它“激活”：
| 步骤 | 动作 | 说明 |
|---|---|---|
| 1 | 端口状态检测 | SM通过SMP查询端口状态，确认它是否处于“初始化”或“down”状态。 |
| 2 | 分配LID | SM给端口分配一个唯一的LID，并写入端口的LID寄存器。 |
| 3 | 配置端口属性 | 设置MTU、速率、VL（虚拟通道）等参数。我习惯把MTU设为4096，能提升大包传输效率。 |
| 4 | 启用端口 | 将端口状态从“初始化”改为“active”。此时端口才能收发数据。 |
| 5 | 更新路由表 | SM重新计算路由，把新端口纳入路径选择中。 |
整个过程很快，通常几毫秒就能完成。但如果你插拔光纤太频繁，SM可能会因为反复计算路由而CPU飙升。嗯，这里要注意，别在生产环境里乱拔线。
避坑指南：我曾经在测试时发现，某个端口初始化后一直处于“active”但无法通信。查了半天，原来是端口的VL配置跟交换机不匹配。SM只管分配，不会校验兼容性——这得你自己盯着。
常见的SM软件：OpenSM vs UFM
目前主流的SM软件就两种：开源的OpenSM和Mellanox（现NVIDIA）的UFM。我两个都用过，简单说说区别。
OpenSM
OpenSM是Linux系统上最常见的SM，随OFED（OpenFabrics Enterprise Distribution）一起发布。它免费、轻量、功能够用。大多数IB网络用OpenSM就能搞定。
- 启动方式：命令行直接跑
opensm -g 0x0002c903000a0001，指定GUID就行。 - 配置文件：
/etc/opensm/opensm.conf，可以调路由算法、日志级别等。 - 缺点：没有图形界面，排错全靠看日志。我刚开始用的时候，经常被一堆“SMP timeout”搞得头大。
# 启动OpenSM的示例命令
opensm -g 0x0002c903000a0001 -B -p 1
# -g 指定SM的GUID
# -B 后台运行
# -p 指定使用的端口号UFM（Unified Fabric Manager）
UFM是NVIDIA的商业产品，功能比OpenSM强一大截。它带Web界面，能实时监控流量、告警、甚至做性能分析。说白了，OpenSM是“手动挡”，UFM是“自动挡”。
- 优势：图形化操作、自动故障恢复、支持多租户。我在一个2000节点的大集群里用过UFM，管理起来确实省心。
- 缺点：贵。而且它本身要占一台服务器，资源消耗比OpenSM大。
- 适用场景：大型数据中心、需要精细化运维的环境。小规模网络用OpenSM就够了，别花冤枉钱。
我的建议：如果你刚入门，先用OpenSM练手。等网络规模上去了，再考虑UFM。记住，SM软件只是工具，真正值钱的是你对网络拓扑和路由策略的理解。
好了，关于SM的原理就聊到这儿。下一节我们会深入多路径路由算法，到时候我会拿实际拓扑图来演示，保证比干讲理论有意思得多。