第二章 网络拓扑与硬件选型：交换机、网卡、光模块的延迟参数与选型实战
做电子交易系统，说白了就是在跟光速赛跑。我见过太多团队，代码优化到极致了，结果发现瓶颈竟然在交换机上——一个毫秒级的转发延迟，足以让你的套利策略从盈利变成亏损。
这一章，咱们就聊聊硬件选型那些事。嗯，这里要注意，不是堆料就能解决问题，关键是「匹配」。
2.1 延迟的源头在哪里？
一个数据包从网卡发出，经过交换机，再到对方服务器，中间经历了什么？我拆解给你看：
- 网卡处理延迟：数据从内存搬到网卡缓存，再到物理链路。这个环节，PCIe总线是主要瓶颈。
- 交换机转发延迟：数据包进入交换机，查MAC地址表，决定从哪个端口出去。这里有个「存储转发」和「直通转发」的区别，后面细说。
- 光模块光电转换延迟：电信号转光信号，光信号转电信号。别小看这几纳秒，积少成多。
- 物理链路传播延迟：光在光纤里跑，速度大约是真空中的2/3。每公里大约5微秒。
核心观点：电子交易场景下，延迟的优化顺序是：交换机 > 网卡 > 光模块 > 线缆。为什么？因为交换机和网卡是「主动处理」环节，可优化的空间最大。
2.2 交换机选型：直通转发 vs 存储转发
我个人习惯，先看转发模式。这是决定延迟的关键。
| 转发模式 | 延迟 | 适用场景 | 缺点 |
|---|---|---|---|
| 存储转发 | 几微秒到几十微秒 | 普通数据中心，要求数据完整性 | 延迟高，不适合高频交易 |
| 直通转发 | 几百纳秒 | 高频交易，延迟敏感场景 | 可能转发坏帧 |
| 碎片无关转发 | 介于两者之间 | 折中方案 | 不常见 |
我在项目中遇到过一件事：某团队采购了一批「企业级」交换机，号称延迟1微秒。结果上架一测，实际延迟3.5微秒。为什么？因为默认开启了存储转发模式，而且开启了大量ACL规则。你想想看，每多一条规则，查表时间就多一截。
避坑指南：我曾经踩过一个坑——交换机端口缓冲区大小。有些交换机为了防丢包，把缓冲区开得很大。但缓冲区越大，排队延迟越高。对于交易系统，我建议关闭或减小缓冲区，宁可丢包重传，也不要排队等待。
2.3 网卡选型：从10G到100G的抉择
网卡这块，我见过最离谱的配置：用千兆网卡跑高频交易。结果呢？CPU占用率直接拉满，因为中断太多。
选网卡，我关注三个参数：
- PCIe版本和通道数：PCIe 3.0 x8的理论带宽是8GB/s，但实际延迟比PCIe 4.0高。我建议直接上PCIe 4.0 x16，为未来留余量。
- 硬件时间戳：这个必须有。没有硬件时间戳，你测出来的延迟都是假的。Solarflare和Mellanox的网卡在这方面做得不错。
- 用户态驱动：绕过内核协议栈，直接操作网卡。DPDK和OpenOnload是主流选择。
实战建议：如果你做的是纳秒级交易，别犹豫，直接上Solarflare XtremeScale系列或者Mellanox ConnectX-6。它们的硬件时间戳精度在10纳秒以内。我测试过，比普通网卡快了一个数量级。
2.4 光模块选型：SR、LR、ER到底选哪个？
光模块这东西，很多人不重视。其实，它的延迟差异很大。
| 类型 | 传输距离 | 典型延迟 | 成本 |
|---|---|---|---|
| SR（短距） | 100米以内 | 约50纳秒 | 低 |
| LR（长距） | 10公里 | 约100纳秒 | 中 |
| ER（超长距） | 40公里 | 约150纳秒 | 高 |
为什么LR比SR延迟高？因为光模块内部需要更强的激光器和更复杂的信号处理电路。说白了，就是多了几级放大和整形。
我建议：能选SR就别选LR。除非你的机房距离真的超过100米。我曾经见过一个项目，明明两台服务器就在同一个机柜，却用了LR模块。一问，说是「库存只有LR了」。结果延迟多了50纳秒，白白浪费。
注意：光模块的兼容性是个大坑。不同品牌的交换机，对光模块的认证机制不同。我建议统一采购同一品牌的光模块，或者用经过认证的第三方模块。否则，可能会出现链路不稳定、丢包率飙升的问题。
2.5 网络拓扑设计：扁平化 vs 分层化
交易系统的网络拓扑，我推荐扁平化设计。为什么？
- 跳数越少，延迟越低：每经过一台交换机，就多一次转发延迟。
- 避免STP（生成树协议）：STP会阻塞冗余链路，导致路径不是最优。我建议用MLAG或堆叠技术，实现冗余的同时保持所有链路可用。
- 物理隔离：交易流量和管理流量分开。别让监控流量挤占了交易流量的带宽。
下面这张图，是我常用的交易网络拓扑结构：
你看，所有交易服务器直接连接到核心交换机，没有中间层。这样，任意两台服务器之间的通信，只经过一台交换机。延迟可控。
2.6 实战选型清单
最后，我整理了一份选型清单，供你参考：
- 交换机：Arista 7130系列（延迟300ns）或 Cisco Nexus 3550-F（延迟400ns）。记得开启直通转发模式。
- 网卡：Solarflare XtremeScale X2522（延迟1μs以内）或 Mellanox ConnectX-6 Dx（支持硬件时间戳）。
- 光模块：机柜内用SR，跨机房用LR。别混用。
- 线缆：10米以内用DAC直连铜缆，延迟最低。超过10米用光纤。
- 拓扑：扁平化，一跳直达。避免STP，用MLAG。
小技巧：我习惯在采购前，先借设备做POC测试。用专业的延迟测试工具（比如Solarflare的Precision Time Measurement）实测一下。别信厂商的PPT数据，那都是实验室环境下的理想值。
嗯，硬件选型这块，说白了就是「一分钱一分货」。但更重要的是，你要清楚自己的需求。是做纳秒级套利，还是做毫秒级风控？需求不同，选型策略完全不同。
记住：延迟优化，从硬件开始，但不止于硬件。下一层，我们聊聊操作系统和内核调优。不过那是后话了。
公众号:蓝海资料掘金营，微信deep3321