高性能计算网络 · InfiniBand 交换机配置指南 · 课程目录

InfiniBand技术概览

HPC网络发展史 · IB vs 以太网 · HCA/TCA/子网管理器

硬件架构解析

交换机背板 · QSFP/OSFP · 铜缆/光缆/有源光缆

子网管理器 (SM) 基础

OpenSM原理 · 主备选举 · 配置参数详解

分区 (Partition) 配置

P_Key原理 · 默认/自定义分区 · 隔离策略

路由与转发

线性转发表(LFT) · 自适应路由(AR) · 多路径负载均衡

链路层配置

链路宽度/速率协商 · FEC · 链路故障检测

虚拟通道 (VL) 与服务等级 (SL)

VL映射 · SL转VL表 · 流量优先级管理

拥塞控制 (CC)

CC机制原理 · 动态拥塞检测 · 阈值调优实战

网络拓扑设计

Fat-Tree · Dragonfly+ · Torus 对比与选型

交换机初始化与固件升级

固件版本管理 · 升级流程 · 回滚策略

命令行管理 (CLI)

基础命令集 · 配置模式 · 脚本化批量配置

MIB库解析 · 告警阈值 · Grafana集成方案

日志与故障诊断

syslog配置 · 核心转储分析 · 常见错误码解读

MTU调整 · 缓冲区优化 · 自适应路由参数调优

多租户隔离

虚拟化支持 · 租户级QoS · 安全策略实施

高可用性设计

双主控冗余 · 电源冗余 · 链路聚合(LAG)

SSH密钥认证 · ACL访问控制 · 管理平面保护

自动化运维

Ansible集成 · REST API调用 · 配置模板管理

RoCE与InfiniBand对比

协议栈差异 · 性能基准测试 · 迁移策略

GPU Direct与NVIDIA网络

GPUDirect RDMA · NVSwitch集成 · NCCL优化

存储网络集成

NVMe over Fabrics · Lustre/GPFS并行文件系统

大规模集群部署

布线规范 · 标签管理 · 上架与验收流程

性能基准测试

ib_write_bw/ib_read_bw · MPI基准(OSU/IMB)

常见故障排除

链路抖动 · CRC错误 · 分区不匹配 · SM脑裂

固件与驱动兼容性

HCA驱动版本 · 固件版本矩阵 · 验证工具

动态功耗管理 · 端口节能策略 · 散热优化

NDR(Next Data Rate) · CXL互连 · 量子计算网络

某超算中心InfiniBand网络部署全流程

认证与考试

IBTA认证体系 · Mellanox/NVIDIA认证路径

从零搭建8节点InfiniBand集群