3、硬件选型基础：网卡（NIC）的选择标准、Intel vs Mellanox vs Solarflare、PCIe通道与延迟的关系

好，咱们直接切入正题。网卡选型这事儿，说白了就是给你的交易系统选一双「跑鞋」。鞋不合脚，CPU再强也白搭。我见过太多团队，服务器配置拉满，结果网卡选错了，延迟硬生生多出几百纳秒——在低延迟交易里，这简直是灾难。

3.1 网卡选择的核心标准

选网卡，我一般只看三个维度：延迟、确定性、卸载能力。别的花里胡哨的功能，都是锦上添花。

• 延迟：硬件层面的线速转发延迟，通常以纳秒计。我个人习惯看PTP（精确时间协议）下的硬件时间戳精度，这直接决定了你的报文能否卡在微秒级窗口。
• 确定性：说白了就是延迟的抖动。你平均延迟1微秒，但偶尔跳到10微秒，那还不如用平均2微秒但稳定的卡。我在项目中遇到过，某款网卡在流量突发时，中断处理会「卡住」几十微秒，直接导致策略失效。
• 卸载能力：比如TCP/IP卸载引擎（TOE）、RDMA、DPDK支持。嗯，这里要注意，不是所有卸载都对低延迟有利。有些卸载反而会增加路径长度，我建议只保留硬件时间戳和流分类卸载。

3.2 Intel vs Mellanox vs Solarflare：三巨头对决

这三家我都深度用过，各有各的脾气。咱们直接上对比表，然后我逐个拆解。

特性	Intel（如X710/XL710）	Mellanox（如ConnectX-5/6）	Solarflare（如X2522/X2542）
延迟（典型值）	1-2微秒	0.5-1微秒	0.3-0.8微秒
确定性	中等，有抖动	高，硬件队列管理强	极高，专为金融设计
DPDK支持	成熟，但驱动复杂	原生支持，性能优异	原生支持，且提供onload加速
硬件时间戳	支持，精度一般	支持，精度高	支持，精度极高（纳秒级）
价格	中等	较高	高

3.2.1 Intel：生态成熟，但别指望极致

Intel的网卡，说白了就是「万金油」。兼容性好，驱动文档多，随便找个Linux发行版都能跑。但如果你追求极致延迟，它不太够用。我记得有一次，我用Intel X710跑DPDK，发现它的硬件队列在重负载下会丢包，而且中断合并策略对延迟不友好。嗯，适合做管理口或者非核心业务。

3.2.2 Mellanox：RDMA之王，延迟与吞吐兼顾

Mellanox（现在叫NVIDIA Networking）的卡，我特别喜欢它的RoCE（RDMA over Converged Ethernet）能力。如果你要用RDMA做内存直通，它几乎是唯一选择。它的硬件队列管理非常精细，可以做到每个流独占一个队列，避免头阻塞。我在一个高频交易项目中，用ConnectX-5配合DPDK，把端到端延迟压到了500纳秒以内。不过要注意，它的驱动mlx5配置项很多，调优起来有点烧脑。

3.2.3 Solarflare：为交易而生，但贵得有道理

Solarflare（现在叫Xilinx，被AMD收购了）的卡，是专门为金融交易设计的。它有个绝活叫onload——一种内核旁路技术，可以让应用直接操作网卡硬件，延迟极低且稳定。我曾在某交易所的行情网关里用过X2522，它的硬件时间戳精度能达到10纳秒级别，配合ef_vi（高效虚拟接口），延迟抖动几乎为零。缺点嘛，就是贵，而且生态相对封闭。如果你做的是纳秒级竞争的业务，它值得投资。

3.3 PCIe通道与延迟的关系：别让总线成为瓶颈

网卡选好了，插到服务器上就完事了？没那么简单。PCIe通道的配置，直接影响数据从网卡到内存的路径延迟。你想想看，网卡再快，如果PCIe链路拥堵，数据也得排队。

3.3.1 PCIe版本与通道数

PCIe 3.0 x8的理论带宽是8GB/s，PCIe 4.0 x8是16GB/s。对于25G/40G网卡，PCIe 3.0 x8基本够用；但如果是100G网卡，我建议至少用PCIe 4.0 x16。为什么？因为网卡不仅要收发包，还要做DMA（直接内存访问），带宽不够就会产生背压，延迟直接飙升。

我在项目中遇到过，一台服务器插了两张100G网卡，但只用了PCIe 3.0 x8插槽。结果流量一上来，网卡报PCIe Link Stalls，延迟从1微秒跳到了5微秒。后来换到PCIe 4.0 x16插槽，问题才解决。

3.3.2 NUMA亲和性：数据要就近处理

现代服务器都是NUMA（非统一内存访问）架构。网卡插在哪个NUMA节点，它的DMA内存就应该分配在那个节点的内存上。否则，数据要从远端内存跨QPI/UPI总线拷贝，延迟多出几百纳秒。我习惯在BIOS里把网卡中断绑定到同一个NUMA节点的CPU核心上，然后用numactl绑定DPDK进程。

3.3.3 PCIe Max Payload Size（MPS）

这个参数很多人忽略。MPS决定了每次DMA传输的最大数据量。默认通常是128字节或256字节，但对于低延迟场景，我建议设置为512字节或更大。为什么？因为更大的MPS可以减少DMA事务次数，降低总线开销。不过要注意，所有PCIe设备必须支持相同的MPS，否则会降级。

# 查看当前PCIe MPS设置
lspci -vvv -s 03:00.0 | grep -i "MaxPayload"

# 在BIOS中设置MPS（不同厂商路径不同）
# 通常在 PCIe Subsystem Settings -> Max Payload Size 中调整

3.4 知识体系结构图

下面这张图，是我自己总结的网卡选型与PCIe调优的核心逻辑。你可以把它当作一个检查清单。