4、NVLink与NVSwitch配置：NVIDIA系统管理接口（nvidia-smi）查看NVLink状态、NVSwitch配置与监控
NVLink和NVSwitch，说白了就是NVIDIA多卡互联的「高速公路」和「立交桥」。我刚开始接触DGX系列的时候，总觉得这玩意儿就是个黑盒子，插上就能用。直到有一次在客户现场，8张A100死活跑不满带宽，排查了半天才发现是NVLink链路降级了。嗯，从那以后，我每次部署都会先检查NVLink状态。
4.1 用nvidia-smi查看NVLink状态
nvidia-smi这个工具，大家都不陌生。但很多人只拿它看显存和温度，其实它还能看NVLink的链路健康度。我个人习惯用这个命令来快速诊断：
nvidia-smi --query-gpu=index,name,link.widths --format=csv这个命令会输出每张GPU的NVLink宽度。比如你看到「12」或者「18」，说明链路是完整的。如果出现「0」或者「4」，那就要警惕了——链路可能降级了。
更详细的查看方式：
nvidia-smi nvlink --status这个命令会列出所有NVLink链路的实时状态。输出大概长这样：
GPU 0: Tesla A100 (UUID: GPU-xxxxxxxx)
Link 0: 25.781 GB/s
Link 1: 25.781 GB/s
Link 2: 25.781 GB/s
Link 3: 25.781 GB/s
Link 4: 25.781 GB/s
Link 5: 25.781 GB/s
Link 6: 25.781 GB/s
Link 7: 25.781 GB/s
Link 8: 25.781 GB/s
Link 9: 25.781 GB/s
Link 10: 25.781 GB/s
Link 11: 25.781 GB/s每一条链路都显示带宽。如果某个链路显示「0 B/s」或者「Disabled」，那就是出问题了。我在项目中遇到过，某次机房空调故障导致GPU过热，NVLink自动降级了3条链路，训练速度直接掉了40%。
4.2 NVSwitch配置与监控
NVSwitch是NVLink的「大脑」。在DGX A100或者H100这样的系统里，NVSwitch负责把8张GPU全互联。说白了，没有NVSwitch，GPU之间通信就得绕CPU，那延迟就大了去了。
查看NVSwitch状态，可以用这个命令：
nvidia-smi nvswitch --list输出会列出所有NVSwitch的索引和状态。比如：
Switch 0: DGX A100 Switch
Switch 1: DGX A100 Switch
Switch 2: DGX A100 Switch
Switch 3: DGX A100 Switch
Switch 4: DGX A100 Switch
Switch 5: DGX A100 Switch每个NVSwitch管理一部分GPU之间的连接。你可以进一步查看单个Switch的详细信息：
nvidia-smi nvswitch --id 0 --query这会输出Switch的固件版本、温度、功耗、链路状态等。我个人习惯重点关注两个指标：
- 链路错误计数：如果这个数字在增长，说明物理链路有问题
- 带宽利用率：如果利用率长期超过90%，可能需要考虑负载均衡
4.3 核心知识体系
下面这张图，是我自己总结的NVLink与NVSwitch监控体系。你想想看，从GPU到Switch，再到整体拓扑，其实就三层：
4.4 实战：一键检查脚本
我写了个小脚本，每次训练前跑一遍，心里踏实。你直接拿去用：
#!/bin/bash
# check_nvlink.sh - 检查NVLink和NVSwitch状态
echo "=== NVLink链路状态 ==="
nvidia-smi nvlink --status | grep -E "Link|Disabled|Error"
echo ""
echo "=== NVSwitch状态 ==="
nvidia-smi nvswitch --list
echo ""
echo "=== 链路错误统计 ==="
for gpu in $(seq 0 7); do
errors=$(nvidia-smi nvlink --id $gpu --geterrors 2>/dev/null | grep "CRC" | awk '{sum+=$NF} END{print sum}')
echo "GPU $gpu CRC错误数: $errors"
done
echo ""
echo "=== 带宽测试 ==="
nvidia-smi nvlink --setcontrol 0 # 重置计数器
sleep 2
nvidia-smi nvlink --getcounter 0 # 查看流量- NVLink链路降级不会报错，必须主动检查
- NVSwitch的CRC错误计数是物理链路健康的「晴雨表」
- 建议每次训练前跑一遍检查脚本，尤其是多机多卡场景
嗯，NVLink和NVSwitch的配置与监控，说白了就是「链路健康 + 带宽充足」。你只要把这两点盯住了，多卡通信就不会出大问题。我曾经在部署一个8节点DGX集群时，就是因为忽略了NVSwitch的固件版本不一致，导致跨节点通信时断时续。后来统一升级固件后，问题就解决了。
nvidia-smi --query-gpu=pcie.link.gen.current --format=csv 确认PCIe速率。
最后说一句，NVLink的监控数据可以通过nvidia-smi的XML输出格式采集，方便集成到Prometheus+Grafana里。如果你有运维平台，建议把链路错误计数和带宽利用率做成实时仪表盘。这样一旦链路出问题，你第一时间就能发现。