网络延迟优化：物理层优化、网络协议优化、网卡调优

做市系统里，网络延迟是绕不开的硬骨头。我常说一句话：你的策略再牛，数据到不了，一切都是零。这一章，咱们就聊聊怎么从物理层、协议层、网卡层三个维度，把网络延迟压到极致。

一、物理层优化：光纤 vs 微波

物理层是延迟的起点。说白了，信号在介质里跑的速度是固定的——光在光纤里大约 20 万公里/秒，在空气中接近 30 万公里/秒。所以，距离就是延迟。

1. 光纤：稳定但慢一点

• 优势：带宽大、抗干扰强、误码率低。适合长距离、高可靠场景。
• 劣势：光在光纤里走的是折线路径（全反射），实际速度只有真空光速的 2/3 左右。每公里延迟约 5 微秒。
• 优化点：
  • 使用单模光纤，避免多模光纤的模式色散。
  • 减少光纤熔接点，每个接头都会引入 0.1-0.5 微秒的额外延迟。
  • 直接铺设最短路径，别绕路。我见过有人为了省成本走现有管道，结果多了 3 公里，延迟多了 15 微秒——得不偿失。

2. 微波：快但娇气

• 优势：信号在空气中直线传播，速度接近真空光速。每公里延迟约 3.3 微秒，比光纤快 30% 以上。
• 劣势：受天气影响大（雨衰、雾衰），带宽有限，需要视距传输。
• 优化点：
  • 架设高增益定向天线，减少信号散射。
  • 使用自适应调制编码，在天气好时跑更高阶调制（如 256QAM），延迟更低。
  • 做冗余链路：主用微波 + 备用光纤。我在芝加哥的项目里，就遇到过一场暴雨让微波链路直接掉了 3 毫秒——还好光纤顶上去了。

二、网络协议优化：UDP vs TCP

协议层的选择，直接决定了你的数据包怎么走、走多快。我见过太多人一上来就选 TCP，结果延迟惨不忍睹。

1. TCP：可靠但慢

• 为什么慢？
  • 三次握手：建立连接就要 1.5 个 RTT。
  • 拥塞控制：慢启动、拥塞避免，带宽利用率低。
  • 确认重传：每个包都要 ACK，丢包就重传，延迟抖动大。
• 什么时候用？行情数据订阅、历史数据下载等非实时场景。

2. UDP：快但需要自己兜底

• 为什么快？
  • 无连接：直接发，省掉握手。
  • 无拥塞控制：应用层自己控制发送速率。
  • 无确认机制：丢包就丢，不重传。
• 优化点：
  • 使用 FEC（前向纠错）：发送冗余包，接收端直接恢复丢包，不用重传。我在做期权做市系统时，FEC 让丢包恢复时间从 500 微秒降到了 10 微秒。
  • 使用 多路径 UDP：同时发两条路径，谁先到用谁。延迟能再降 20%。
  • 应用层做 心跳检测：发现链路断了，立刻切备用路径。

3. 协议对比表

特性	TCP	UDP	优化 UDP
连接建立延迟	1.5 RTT	0	0
每包延迟（典型）	10-100 微秒	1-5 微秒	1-3 微秒
丢包恢复	自动重传（慢）	无	FEC（快）
适用场景	非实时数据	实时行情	做市交易

三、网卡调优：DPDK 与 RDMA

网卡是数据进入服务器的最后一关。传统方式下，数据要经过内核协议栈，延迟动辄几十微秒。DPDK 和 RDMA 就是来干掉这个瓶颈的。

1. DPDK：绕过内核，直接操作网卡

• 原理：用户态驱动 + 轮询模式。网卡收到数据后，直接 DMA 到用户态内存，应用层轮询读取，省掉中断和内核上下文切换。
• 优化点：
  • 使用 大页内存（2MB 或 1GB），减少 TLB miss。
  • CPU 核心绑定：网卡中断和 DPDK 线程绑定到同一个物理核心，避免跨 NUMA 访问。
  • 使用 多队列：每个 CPU 核心处理一个队列，避免锁竞争。
• 代码示例：初始化 DPDK 并接收数据包

// DPDK 初始化示例（简化版）
int main(int argc, char *argv[]) {
    // 1. 初始化 EAL
    int ret = rte_eal_init(argc, argv);
    if (ret < 0) rte_exit(EXIT_FAILURE, "EAL init failed\n");

    // 2. 分配内存池
    struct rte_mempool *mbuf_pool = rte_pktmbuf_pool_create(
        "MBUF_POOL", NUM_MBUFS, MBUF_CACHE_SIZE, 0,
        RTE_MBUF_DEFAULT_BUF_SIZE, rte_socket_id());

    // 3. 初始化网卡
    struct rte_eth_conf port_conf = {0};
    rte_eth_dev_configure(0, 1, 1, &port_conf);

    // 4. 启动网卡
    rte_eth_dev_start(0);

    // 5. 轮询接收数据包
    while (1) {
        struct rte_mbuf *bufs[BURST_SIZE];
        uint16_t nb_rx = rte_eth_rx_burst(0, 0, bufs, BURST_SIZE);
        for (int i = 0; i < nb_rx; i++) {
            // 处理数据包
            process_packet(bufs[i]);
            rte_pktmbuf_free(bufs[i]);
        }
    }
}

2. RDMA：直接内存访问，零拷贝

• 原理：网卡直接读写远端内存，数据不经过 CPU 和内核。延迟可以降到 1 微秒以下。
• 两种模式：
  • InfiniBand：专用网络，延迟最低（0.5 微秒），但贵。
  • RoCE v2：基于以太网，兼容性好，延迟约 1-2 微秒。
• 优化点：
  • 使用 SRQ（共享接收队列），减少内存浪费。
  • 使用 ODP（按需分页），避免提前注册大量内存。
  • CPU 核心绑定：RDMA 的完成事件处理线程绑定到特定核心。

四、知识体系图：网络延迟优化全景

五、实战建议：三步走策略

1. 第一步：测量基线
   • 用硬件时间戳（如 PTP）测量端到端延迟。
   • 找出瓶颈：是物理链路、协议栈、还是网卡？
2. 第二步：逐层优化
   • 物理层：能铺光纤就铺光纤，能上微波就上微波。
   • 协议层：行情数据用 UDP + FEC，订单数据用优化 UDP（带应用层确认）。
   • 网卡层：DPDK 起步，延迟敏感场景上 RDMA。
3. 第三步：持续监控
   • 部署延迟监控系统，每 100 微秒采样一次。
   • 发现抖动超过 200 纳秒，立刻告警。