4、端口与线卡设计:高速端口(100G/400G/800G)的物理层与电气特性

各位同学,咱们今天聊点硬核的——端口与线卡设计。说实话,每次看到有人把高速端口简单理解成“插根线就能用”,我就忍不住想拉他进实验室看看。100G、400G、800G,这些数字背后,是物理层和电气特性的一场硬仗。

我入行那会儿,10G端口还是主流。那时候觉得10G已经够快了,谁能想到现在400G都成了数据中心标配,800G也开始冒头了。嗯,技术这东西,永远在逼你往前走。

4.1 高速端口的物理层架构

先说说物理层。很多人以为端口就是那个金属接口,其实不然。一个高速端口,从外到内,至少包含这么几层:

  • 连接器层:就是你能摸到的那个物理接口。100G常用QSFP28,400G用QSFP-DD或OSFP,800G目前主流是OSFP。
  • 信号调理层:包括Retimer、Redriver、CDR(时钟数据恢复)这些芯片。说白了,就是帮你把信号“洗”干净。
  • SerDes层:串行器/解串器,负责把并行数据转成高速串行信号。这是最核心的部分。
  • MAC/PHY层:媒体访问控制和物理编码子层,处理数据帧的封装和解封装。

我见过不少工程师,调试端口不通时,第一反应就是换光模块。其实很多时候,问题出在信号调理层。有一次,一个400G端口死活起不来,折腾了两天,最后发现是Retimer芯片的配置寄存器写错了。你说冤不冤?

4.2 电气特性:信号完整性的生死线

高速端口的电气特性,说白了就是信号完整性。信号完整性不好,再贵的交换机也是废铁。我总结了几条关键指标:

参数 100G (4×25G NRZ) 400G (8×50G PAM4) 800G (8×100G PAM4)
单通道速率 25 Gbps 50 Gbps 100 Gbps
调制方式 NRZ PAM4 PAM4
信道损耗预算 ~10 dB ~15 dB ~20 dB
眼图高度 ≥ 200 mV ≥ 100 mV ≥ 50 mV
误码率要求 ≤ 1E-12 ≤ 1E-6 (带FEC) ≤ 1E-4 (带FEC)

看到没?从100G到800G,单通道速率翻倍,但眼图高度却砍了一半。为什么会这样?因为PAM4调制把信号分成了4个电平,每个电平之间的间距变小了。你想想看,信号稍微抖一下,就可能跳到隔壁电平去。

核心要点:800G的电气设计,本质上是在跟噪声和抖动做斗争。每提升一个速率等级,信号裕量就减少一半,但设计难度却增加不止一倍。

4.3 线卡设计:从PCB到连接器

线卡设计,我个人的习惯是先从PCB走线开始考虑。高速信号对PCB的要求极其苛刻:

  • 阻抗控制:差分阻抗100Ω ± 5%,单端阻抗50Ω ± 5%。别小看这5%,我见过一批板子因为阻抗偏差到了8%,结果整批报废。
  • 走线长度匹配:同一通道内的P/N走线,长度差不超过5 mil。800G设计时,这个要求更严,最好控制在2 mil以内。
  • 过孔设计:高速信号尽量少用过孔。实在避不开,要用背钻工艺去掉多余的stub。我曾经在一个项目里,就因为一个过孔的stub长了30 mil,导致整个通道的眼图闭合。
  • 材料选择:低损耗材料是必须的。M6级别以上的板材,Df(损耗因子)要小于0.005。

避坑指南:我曾经在调试400G线卡时,发现某个端口的误码率总是偏高。查了两天,最后发现是连接器附近的去耦电容放得太远,导致电源噪声耦合进了信号路径。后来我把电容挪到了离连接器引脚不到100 mil的位置,问题立刻解决。

4.4 光模块与电接口的匹配

光模块的选择,直接决定了端口的性能。目前主流的光模块类型有:

  • SR(短距):多模光纤,100米以内。适合机柜内互联。
  • DR(中距):单模光纤,500米。适合同一数据中心内。
  • FR/LR(长距):单模光纤,2公里/10公里。适合跨数据中心。

但这里有个坑:光模块的功耗。400G QSFP-DD的典型功耗是8-12W,800G OSFP更是飙到了15-20W。你想想看,一个48口的线卡,光模块功耗就接近1000W。散热怎么办?

我建议在设计线卡时,一定要预留足够的散热空间。风道设计、散热片高度、甚至风扇转速策略,都要提前规划。有一次,一个客户把400G线卡塞进了原本为100G设计的机箱里,结果光模块温度直接飙到85°C,端口频繁down机。

4.5 测试与验证:别信仿真,信实测

仿真做得再好,也得上测试台。我常用的测试手段包括:

  1. 眼图测试:看信号质量。100G要求眼图张开度≥30%,400G/800G因为用了PAM4,要看眼图的高度和宽度。
  2. 误码率测试:跑PRBS31码型,至少跑24小时。800G的误码率要求虽然放宽到了1E-4,但那是带FEC的。裸链路的误码率最好能到1E-8以下。
  3. 抖动测试:包括随机抖动和确定性抖动。总抖动(TJ)不能超过0.3 UI。
  4. 回损测试:回波损耗要大于15 dB。回损不好,信号反射会严重干扰发送端。

注意事项:测试时一定要用标准化的测试夹具和线缆。我见过有人用普通SMA线缆去测100G信号,结果测出来的眼图惨不忍睹。实际上,高频测试线缆的带宽至少要达到信号频率的3倍以上。

4.6 未来趋势:800G之后是什么?

说实话,800G还没完全普及,1.6T的标准已经在路上了。我个人判断,未来几年会有几个趋势:

  • 线性驱动可插拔光学(LPO):去掉DSP芯片,降低功耗和延迟。但代价是信号质量要求更高。
  • 共封装光学(CPO):把光引擎和交换芯片封装在一起,减少电信号传输距离。这可能是终极方案。
  • 更先进的调制方式:比如PAM6、PAM8,甚至相干检测下放到数据中心内部。

但不管技术怎么变,物理层和电气特性的基本功不会变。你只要把信号完整性、电源完整性、热设计这三件事搞明白了,未来不管什么速率,你都能应对。

嗯,今天就聊到这儿。下一章咱们讲讲交换芯片的内部架构,那才是真正烧脑的地方。