一、光互连概述:从电互连到光互连的演进
大家好,我是老张。做高速互连设计十几年了,今天咱们聊聊光互连。
说实话,我刚入行那会儿,大家还在为10Gbps的电信号头疼。那时候PCB上的走线稍微长一点,信号就歪歪扭扭的。我记得有一次调试一个25Gbps的背板,折腾了整整两周,最后发现是过孔残桩多了几个mil。嗯,电互连就是这么娇气。
1.1 电互连的瓶颈
电互连用了这么多年,为什么现在要换成光?说白了,三个字:跑不动了。
你想想看,电信号在铜线上传输,有几个天生的问题:
- 趋肤效应:频率越高,电流越往导体表面跑。100Gbps的时候,有效导电截面可能只剩薄薄一层。
- 介质损耗:PCB板材的介电损耗随频率飙升,信号还没到目的地,幅度已经掉了一半。
- 串扰:相邻走线之间的电磁耦合,速率越高越严重。我在一个400G交换机项目里,就因为串扰问题改了三版PCB。
- 功耗:电驱动器的功耗跟速率基本成正比。25Gbps的SerDes功耗大约在100mW左右,到了112Gbps,直接翻倍还不止。
核心结论:电互连在单通道25Gbps以上时,每比特能耗和信号完整性代价呈指数增长。这不是工艺能解决的问题,是物理规律。
1.2 光互连的核心优势
光互连为什么能取代电互连?我给大家拆解三个核心指标。
| 指标 | 电互连(典型值) | 光互连(典型值) | 优势倍数 |
|---|---|---|---|
| 单通道带宽 | 25-112 Gbps | 400 Gbps - 1.6 Tbps | 4-15x |
| 传输距离(无中继) | 0.5-3 米(PCB) | 500米 - 10公里(光纤) | 1000x+ |
| 每比特能耗 | 5-15 pJ/bit | 1-5 pJ/bit | 3-5x |
| 抗电磁干扰 | 差 | 免疫 | — |
带宽优势:光互连的带宽密度极高。一根单模光纤理论上可以承载数百Tbps。我做过一个800G光模块项目,4路200Gbps的PAM4信号,用一根光纤就搞定了。换成电口,得用32对差分线,PCB上根本走不开。
功耗优势:光互连的功耗主要消耗在电光转换上,传输过程本身几乎不耗电。我曾经对比过两个方案:一个是用112Gbps电口传输2米,另一个是用400G光模块传输500米。结果光模块的每比特能耗反而更低。为什么?因为电信号需要均衡器、时钟恢复、前向纠错这些电路来对抗信道损耗,这些电路吃掉的功耗比光模块的激光器还多。
距离优势:这个不用多说。电信号在PCB上走30厘米就得加中继器,光纤可以轻松跑几公里。我在一个超算项目里,机柜之间距离有50米,用电互连的话中间得加三层中继,延迟和功耗都受不了。换成光互连,一根光纤直连,干净利落。
个人经验:选光互连还是电互连,我一般看三个条件——距离超过3米、速率超过100Gbps、或者对功耗有极致要求。满足任意一条,光互连就是更好的选择。
1.3 光互连在数据中心与AI集群中的应用
现在大家聊AI集群,动不动就是几万张GPU卡。这些卡之间怎么通信?靠电互连?不现实。
我给大家画一张图,看看光互连在数据中心里的位置。
这张图展示了光互连在数据中心里的四个典型场景:
- AI训练集群:GPU之间通过光交换机互联,带宽需求最大。我见过一个8K GPU集群,光互连的带宽密度达到了每平方英寸10Tbps。电互连根本做不到。
- Spine-Leaf架构:数据中心内部,Leaf到Spine之间用光互连。这里有个坑——光模块的功耗和散热。我曾经在一个项目里,因为光模块散热没做好,导致交换机温度飙到85度,差点烧了。
- 机柜内互联:TOR到服务器的连接,现在也开始用光。特别是AI服务器,每个节点需要8-16个100G端口,电口根本塞不下。
- 跨数据中心互联:这个不用多说,光纤是唯一选择。相干光技术现在能做到单波长800G,传输120公里。
避坑指南:我曾经在一个AI集群项目里,客户坚持用全电互连方案。结果布线密度太大,信号完整性一塌糊涂,最后不得不返工。我的建议是——AI集群的GPU互联,直接上光互连,别犹豫。电互连在3米以内还能凑合,超过3米就是给自己挖坑。
1.4 光互连的技术挑战
光互连也不是万能的。我给大家泼点冷水。
- 成本:光模块比电模块贵3-5倍。特别是硅光方案,良率还在爬坡。
- 封装:光引擎和ASIC的共封装是个大难题。我见过一个CPO(共封装光学)项目,光引擎和交换芯片之间的对准精度要求达到亚微米级,稍微偏一点就耦合不上。
- 可靠性:激光器有老化问题。我记得有个数据中心,用了两年后光模块的误码率开始上升,最后发现是激光器功率衰减了。
- 标准化:光互连的接口标准还在演进。400G还没完全普及,800G又来了。选型的时候要留好升级空间。
个人建议:做光互连设计,别追求最新最贵的方案。我一般选成熟一代的产品——比如现在800G刚出来,我会优先用400G方案,等800G稳定了再升级。稳扎稳打,比追新更重要。
好了,这一章就聊到这儿。光互连的核心逻辑其实很简单——用光子代替电子,突破带宽和距离的瓶颈。但具体怎么实现,里面的门道可不少。后面我们会一步步拆解。
公众号:蓝海资料掘金营,微信deep3321