一、光互连概述:从电互连到光互连的演进

大家好,我是老张。做高速互连设计十几年了,今天咱们聊聊光互连。

说实话,我刚入行那会儿,大家还在为10Gbps的电信号头疼。那时候PCB上的走线稍微长一点,信号就歪歪扭扭的。我记得有一次调试一个25Gbps的背板,折腾了整整两周,最后发现是过孔残桩多了几个mil。嗯,电互连就是这么娇气。

1.1 电互连的瓶颈

电互连用了这么多年,为什么现在要换成光?说白了,三个字:跑不动了

你想想看,电信号在铜线上传输,有几个天生的问题:

  • 趋肤效应:频率越高,电流越往导体表面跑。100Gbps的时候,有效导电截面可能只剩薄薄一层。
  • 介质损耗:PCB板材的介电损耗随频率飙升,信号还没到目的地,幅度已经掉了一半。
  • 串扰:相邻走线之间的电磁耦合,速率越高越严重。我在一个400G交换机项目里,就因为串扰问题改了三版PCB。
  • 功耗:电驱动器的功耗跟速率基本成正比。25Gbps的SerDes功耗大约在100mW左右,到了112Gbps,直接翻倍还不止。

核心结论:电互连在单通道25Gbps以上时,每比特能耗和信号完整性代价呈指数增长。这不是工艺能解决的问题,是物理规律。

1.2 光互连的核心优势

光互连为什么能取代电互连?我给大家拆解三个核心指标。

指标 电互连(典型值) 光互连(典型值) 优势倍数
单通道带宽 25-112 Gbps 400 Gbps - 1.6 Tbps 4-15x
传输距离(无中继) 0.5-3 米(PCB) 500米 - 10公里(光纤) 1000x+
每比特能耗 5-15 pJ/bit 1-5 pJ/bit 3-5x
抗电磁干扰 免疫

带宽优势:光互连的带宽密度极高。一根单模光纤理论上可以承载数百Tbps。我做过一个800G光模块项目,4路200Gbps的PAM4信号,用一根光纤就搞定了。换成电口,得用32对差分线,PCB上根本走不开。

功耗优势:光互连的功耗主要消耗在电光转换上,传输过程本身几乎不耗电。我曾经对比过两个方案:一个是用112Gbps电口传输2米,另一个是用400G光模块传输500米。结果光模块的每比特能耗反而更低。为什么?因为电信号需要均衡器、时钟恢复、前向纠错这些电路来对抗信道损耗,这些电路吃掉的功耗比光模块的激光器还多。

距离优势:这个不用多说。电信号在PCB上走30厘米就得加中继器,光纤可以轻松跑几公里。我在一个超算项目里,机柜之间距离有50米,用电互连的话中间得加三层中继,延迟和功耗都受不了。换成光互连,一根光纤直连,干净利落。

个人经验:选光互连还是电互连,我一般看三个条件——距离超过3米、速率超过100Gbps、或者对功耗有极致要求。满足任意一条,光互连就是更好的选择。

1.3 光互连在数据中心与AI集群中的应用

现在大家聊AI集群,动不动就是几万张GPU卡。这些卡之间怎么通信?靠电互连?不现实。

我给大家画一张图,看看光互连在数据中心里的位置。

光互连在数据中心与AI集群中的应用架构 AI训练集群(GPU/TPU互联) GPU GPU GPU GPU 400G/800G 光交换机 (NVSwitch类) GPU GPU 数据中心内部互联(Spine-Leaf架构) Leaf 1 Leaf 2 Leaf 3 100G/400G Spine 1 Spine 2 服务器 机柜内互联(Top-of-Rack) TOR交换机 50G/100G 服务器 服务器 服务器 服务器 跨数据中心互联(DCI) 单模光纤 · 400G/800G相干光 · 距离10-120km

这张图展示了光互连在数据中心里的四个典型场景:

  1. AI训练集群:GPU之间通过光交换机互联,带宽需求最大。我见过一个8K GPU集群,光互连的带宽密度达到了每平方英寸10Tbps。电互连根本做不到。
  2. Spine-Leaf架构:数据中心内部,Leaf到Spine之间用光互连。这里有个坑——光模块的功耗和散热。我曾经在一个项目里,因为光模块散热没做好,导致交换机温度飙到85度,差点烧了。
  3. 机柜内互联:TOR到服务器的连接,现在也开始用光。特别是AI服务器,每个节点需要8-16个100G端口,电口根本塞不下。
  4. 跨数据中心互联:这个不用多说,光纤是唯一选择。相干光技术现在能做到单波长800G,传输120公里。

避坑指南:我曾经在一个AI集群项目里,客户坚持用全电互连方案。结果布线密度太大,信号完整性一塌糊涂,最后不得不返工。我的建议是——AI集群的GPU互联,直接上光互连,别犹豫。电互连在3米以内还能凑合,超过3米就是给自己挖坑。

1.4 光互连的技术挑战

光互连也不是万能的。我给大家泼点冷水。

  • 成本:光模块比电模块贵3-5倍。特别是硅光方案,良率还在爬坡。
  • 封装:光引擎和ASIC的共封装是个大难题。我见过一个CPO(共封装光学)项目,光引擎和交换芯片之间的对准精度要求达到亚微米级,稍微偏一点就耦合不上。
  • 可靠性:激光器有老化问题。我记得有个数据中心,用了两年后光模块的误码率开始上升,最后发现是激光器功率衰减了。
  • 标准化:光互连的接口标准还在演进。400G还没完全普及,800G又来了。选型的时候要留好升级空间。

个人建议:做光互连设计,别追求最新最贵的方案。我一般选成熟一代的产品——比如现在800G刚出来,我会优先用400G方案,等800G稳定了再升级。稳扎稳打,比追新更重要。

好了,这一章就聊到这儿。光互连的核心逻辑其实很简单——用光子代替电子,突破带宽和距离的瓶颈。但具体怎么实现,里面的门道可不少。后面我们会一步步拆解。


公众号:蓝海资料掘金营,微信deep3321