3. 物理层延迟分析：光模块与线缆、信号调制与编码、物理层误码率对延迟的影响
聊到InfiniBand网络的延迟，很多人第一反应是看交换芯片的转发时延、看网卡的DMA效率。但说实话，物理层那点事儿，往往才是真正让人头疼的「隐形杀手」。我这些年调过不少IB集群，遇到过最诡异的一次——延迟抖动忽高忽低，查了三天，最后发现是光模块的接收灵敏度在高温下漂移了。嗯，物理层的问题，就是这么隐蔽。
3.1 光模块与线缆：延迟的物理起点
光模块和线缆，是数据离开芯片后遇到的第一道关卡。它们的延迟主要由两部分构成：传播延迟和器件延迟。
3.4.1 传播延迟
说白了就是信号在介质里跑需要时间。光在光纤中的速度大约是真空中光速的2/3，也就是约20万公里/秒。铜缆呢？电信号在铜线里的速度更慢，大约只有光速的60%-70%。
举个例子：一根10米长的光纤，传播延迟大约是50纳秒。同样长度的铜缆，可能要70-80纳秒。别小看这二三十纳秒，在微秒级延迟的IB网络中，这已经是个不小的数字了。
- 光纤传播延迟：约5 ns/m
- 铜缆传播延迟：约7-8 ns/m
- PCB走线传播延迟：约6-7 ns/m
3.4.2 器件延迟
光模块内部有激光驱动器、TIA（跨阻放大器）、CDR（时钟数据恢复）等芯片。每个芯片都会引入额外的延迟。我测过几款主流厂商的400G光模块，器件延迟通常在10-30纳秒之间。
这里有个坑：不同厂商的光模块，延迟差异可能很大。我曾经在一个项目中混用了两个品牌的光模块，结果发现延迟差了将近20纳秒。排查了半天才找到原因——其中一个模块的CDR做了额外的重定时处理。
3.2 信号调制与编码：延迟的隐藏成本
信号调制和编码，听起来像是通信理论课的内容。但实际调优时，你会发现它们对延迟的影响非常直接。
3.2.1 PAM4 vs NRZ
IB网络从HDR（200Gbps）开始，全面转向了PAM4调制。NRZ是两电平（0和1），PAM4是四电平（00、01、10、11）。
PAM4的好处是：同样的波特率下，带宽翻倍。但代价呢？信噪比下降了约9.5dB。这意味着什么？误码率会上升，而误码率上升，就会触发重传，延迟自然就上去了。
| 调制方式 | 每符号比特数 | 信噪比损失 | 典型延迟影响 |
|---|---|---|---|
| NRZ | 1 | 0 dB | 基准 |
| PAM4 | 2 | ~9.5 dB | 误码率升高，重传增加 |
我记得有一次调一个NDR（800Gbps）的链路，发现延迟比预期高了30%。抓包一看，链路层重传率高达0.01%。虽然看起来不高，但每次重传都要多花几百纳秒。最后通过调整发射端的预加重参数，才把误码率压下去。
3.2.2 FEC（前向纠错）的延迟代价
FEC是IB物理层的一个重要功能。它能在不重传的情况下纠正部分错误。但FEC本身会引入延迟。
- RS-FEC（Reed-Solomon）：延迟约100-200纳秒
- FC-FEC（Fire Code）：延迟约50-100纳秒
- 无FEC：延迟最低，但误码率容忍度差
3.3 物理层误码率对延迟的影响
误码率（BER）是物理层最核心的指标之一。很多人觉得BER只要低于1e-12就万事大吉了。但实际不是这样。
3.3.1 误码如何转化为延迟
一个比特出错，在IB链路层会触发以下流程：
- 接收端检测到CRC错误
- 发送NAK（否定应答）
- 发送端重传整个数据包
- 接收端重新接收并校验
这一套流程下来，一次重传至少增加几百纳秒到几微秒的延迟。如果误码率是1e-12，一个100Gbps的链路上，每秒大约有0.1个错误。看起来不多，但如果是延迟敏感的通信模式（比如AllReduce），一次重传就可能让整个集群的同步时间翻倍。
3.3.2 误码率的来源
我总结了几种常见的误码来源：
- 光模块老化：激光器功率下降，接收灵敏度变差
- 光纤弯曲：弯曲半径过小，导致模式色散
- 连接器污染：灰尘或油污导致光功率衰减
- 电磁干扰：铜缆场景下，附近有大功率设备
- 温度漂移：光模块工作温度超过规格，性能下降
3.4 物理层延迟优化实战
说了这么多问题，那怎么优化呢？我分享几个实际用过的招数。
3.4.1 线缆选择策略
- 短距离（<3米）：优先使用DAC（直连铜缆），延迟最低，成本也低
- 中距离（3-10米）：使用AOC（有源光缆），延迟适中，抗干扰好
- 长距离（>10米）：使用光模块+光纤，注意选择低延迟光模块
3.4.2 光模块调优
很多高端光模块支持寄存器配置。你可以通过I2C接口调整：
- 发射功率：适当提高可以降低误码率，但别超过规格
- 预加重/去加重：补偿高频损耗，减少码间干扰
- CDR带宽：调整时钟恢复的跟踪速度
# 示例：通过Mellanox工具查询光模块信息
mlxreg -d /dev/mst/mt4123_pciconf0 --reg_name PMAOS --get
# 查询误码率统计
mlxreg -d /dev/mst/mt4123_pciconf0 --reg_name PPCNT --get3.4.3 FEC策略选择
| 场景 | 推荐FEC模式 | 理由 |
|---|---|---|
| HPC AllReduce | 关闭FEC或FC-FEC | 延迟敏感，链路质量好 |
| AI训练（长链路） | RS-FEC | 链路质量一般，需要纠错 |
| 存储网络 | RS-FEC | 数据完整性要求高 |
3.5 物理层延迟的测量方法
最后说说怎么测。我常用的方法有两种：
3.5.1 回环测试
在交换机端口上插一个回环模块，然后发一个时间戳包。看往返时间，除以2就是单程延迟。这个方法简单，但只能测到端口级的延迟。
3.5.2 精确时间戳法
利用IB的CC（拥塞控制）或PerfQuery机制，获取精确的时间戳。这个方法精度高，但需要硬件支持。
# 使用ibdiagnet工具进行延迟测试
ibdiagnet -r -l 1000 -t 1000
# 查看延迟统计
ibdiagpath -d <lid> -s <sl>嗯，物理层延迟这块，说复杂也复杂，说简单也简单。核心就是记住：光模块、线缆、FEC、误码率，这四个东西是联动的。调好一个，其他三个也会跟着变。我建议你在部署新集群时，先做一轮物理层基线测试，把每个链路的延迟和误码率都记录下来。这样以后出了问题，对比一下就知道哪里变了。