3. 仿真环境搭建：硬件选型、软件栈配置、网络拓扑设计

做延迟仿真，最怕什么？

怕你辛辛苦苦搭出来的环境，跟生产环境完全是两码事。我见过太多团队，仿真跑得飞起，一上生产就崩。说白了，仿真环境的核心就一句话：尽可能复刻真实交易链路中的每一个延迟节点。

这一节，我带你走一遍完整的搭建流程。从硬件选型到软件栈配置，再到网络拓扑设计，每一步我都会告诉你：哪些坑我踩过，哪些钱可以省，哪些地方一分钱都不能省。

核心原则：仿真不是为了跑得爽，而是为了暴露问题。环境越接近生产，你发现的问题就越真实。

3.1 硬件选型：别在CPU上省钱，但别在硬盘上浪费

硬件选型，我个人的习惯是「三看」：看CPU、看内存、看网卡。硬盘？嗯，仿真环境里硬盘基本不参与交易路径，用普通SSD就行。

3.1.1 CPU：主频比核数重要

交易系统是典型的「单线程延迟敏感」应用。你想想看，一个订单从进来出去，基本跑在一个线程上。核再多，主频上不去，延迟照样下不来。

  • 推荐型号：Intel Xeon W系列 或 AMD Ryzen Threadripper Pro
  • 主频要求：单核睿频 ≥ 5.0 GHz
  • 核心数量：8-16核足够，多了浪费
  • 缓存：L3缓存越大越好，至少 32MB
我的经验：我曾经用一台 64 核的服务器做仿真，结果延迟反而比 8 核的高。为什么？因为 NUMA 节点间的内存访问延迟，把单线程性能拖垮了。后来我换了一台高主频的 8 核机器，延迟直接降了 30%。

3.1.2 内存：容量够用就行，频率要快

仿真环境的内存需求其实不大。行情数据、订单簿、历史回放数据，加起来也就几十 GB。但内存频率很重要，因为它直接影响 CPU 访问数据的延迟。

参数 推荐值 说明
容量 64 GB - 128 GB 够用就行，别贪多
频率 DDR5-6000 以上 频率越高，延迟越低
通道 双通道或四通道 别单通道，带宽不够

3.1.3 网卡：这是最容易忽略的瓶颈

很多人觉得仿真环境嘛，用普通千兆网卡就行。错！大错特错！

你想想看，如果你的生产环境用的是 Solarflare 或 Mellanox 的 25G 网卡，仿真环境却用千兆，那网络延迟的差异会直接让你的仿真结果失真。

  • 推荐型号：Mellanox ConnectX-5 或 Solarflare X2522
  • 速率：至少 10G，建议 25G
  • 关键特性：支持 DPDK、支持硬件时间戳
注意：网卡一定要支持 PTP（精确时间协议）。没有硬件时间戳，你测出来的延迟数据全是假的。我曾经因为这个原因，白忙了两个月才发现问题。

3.2 软件栈配置：从内核到应用，一层都不能少

软件栈的配置，说白了就是「怎么让操作系统不捣乱」。交易系统对延迟敏感，但操作系统天生喜欢做各种调度、中断、上下文切换。我们要做的，就是把这些干扰降到最低。

3.2.1 操作系统：选对内核，调好参数

我个人推荐用 Ubuntu Server 22.04 LTS 或 CentOS Stream 9。内核版本建议 5.15 以上，因为低版本内核的 TCP 协议栈优化不够好。

安装完系统后，第一件事就是调内核参数：

# 关闭 CPU 频率缩放
echo 'performance' | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

# 关闭透明大页
echo 'never' | sudo tee /sys/kernel/mm/transparent_hugepage/enabled

# 关闭 NUMA balancing
echo 0 | sudo tee /proc/sys/kernel/numa_balancing

# 设置网络缓冲区大小
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
避坑指南：我曾经在 CentOS 7 上跑仿真，发现延迟总是有规律的抖动。查了三天，最后发现是内核的 cgroup 定时器在作怪。升级到 5.15 内核后，问题消失。

3.2.2 DPDK：绕过内核，直接跟网卡对话

如果你对延迟的要求在微秒级以下，那 DPDK 是必须的。它让应用层直接接管网卡，跳过内核协议栈，延迟能降低 50% 以上。

配置 DPDK 的步骤：

  1. 下载 DPDK 源码（推荐 22.11 LTS 版本）
  2. 编译并安装：meson build && ninja -C build install
  3. 绑定网卡到 DPDK 驱动：dpdk-devbind.py -b vfio-pci 0000:03:00.0
  4. 配置大页内存：echo 2048 | sudo tee /proc/sys/vm/nr_hugepages
警告：DPDK 配置不当会导致网卡无法被操作系统识别。我建议先在测试机上验证，再部署到仿真环境。别问我怎么知道的...

3.2.3 应用层：用 C++ 还是 Java？

这个问题我经常被问到。我的回答是：仿真环境用你生产环境的语言。

如果你生产用 C++，仿真就用 C++。如果你生产用 Java，仿真就用 Java。别在仿真环境里换语言，因为不同语言的 JIT 编译、GC 行为、内存模型完全不同，测出来的延迟数据没有参考价值。

我个人习惯用 C++，因为控制力更强。但如果你用 Java，记得配置好 JVM 参数：

-XX:+UseZGC
-XX:ConcGCThreads=2
-XX:+UnlockExperimentalVMOptions
-XX:-UseBiasedLocking

3.3 网络拓扑设计：延迟的源头，往往在线上

网络拓扑设计，是仿真环境搭建中最容易被低估的一环。很多人觉得「不就是几台机器连起来嘛」，结果一测延迟，发现比生产环境高了 10 倍。

为什么会这样？因为网络拓扑决定了数据包的路径长度。路径越长，延迟越高。

3.3.1 拓扑结构：星型还是树型？

对于仿真环境，我推荐星型拓扑。所有机器通过一台高性能交换机互联，路径最短，延迟最低。

树型拓扑虽然扩展性好，但数据包需要经过多层交换机，延迟会叠加。除非你的仿真环境需要模拟跨机房场景，否则别用树型。

仿真环境网络拓扑（星型结构） 核心交换机 Mellanox SN2700 25G 行情服务器 交易服务器 回放服务器 监控节点 延迟: 0.5μs 延迟: 0.5μs 延迟: 0.5μs 延迟: 0.5μs 图例： 行情源 交易引擎 数据回放 监控 核心交换

3.3.2 交换机选型：延迟是关键指标

交换机是网络拓扑的核心。选型时，我只看三个指标：

  • 端口到端口延迟：必须小于 1μs
  • 背板带宽：至少是端口速率的 2 倍
  • 支持 PTP：没有 PTP，时间同步就是空谈

我个人推荐 Mellanox SN2700 或 Arista 7130 系列。这两款交换机的延迟都在 500ns 以下，而且对 DPDK 和 PTP 的支持非常好。

3.3.3 布线：别小看那几米线

嗯，这里我要多说一句。很多人觉得布线无所谓，随便拿根网线接上就行。但你知道吗？

一根 3 米的 CAT6A 网线，延迟大约是 15ns。一根 10 米的，延迟是 50ns。如果你用光纤，延迟更低，但收发器的延迟又上来了。

我的建议是：

  • 同一机柜内的机器，用 0.5 米 DAC 直连铜缆
  • 跨机柜的机器，用多模光纤 + 短距离光模块
  • 所有线缆长度控制在 5 米以内
我的经验：有一次我发现仿真环境的延迟比生产高了 200ns，查了半天，最后发现是一根 15 米的网线在作怪。换成 1 米的 DAC 线后，问题解决。所以，别小看那几米线。

3.4 时间同步：没有精确的时间，延迟数据就是废纸

时间同步是仿真环境中最容易被忽略，但最重要的环节。没有精确的时间戳，你测出来的延迟数据根本没法用。

我推荐用 PTP（精确时间协议），精度可以达到亚微秒级。NTP 的精度只有毫秒级，对于微秒级的延迟仿真来说，完全不够用。

配置 PTP 的步骤：

  1. 在交换机上启用 PTP 透明时钟模式
  2. 在服务器上安装 linuxptp 包：apt install linuxptp
  3. 配置 ptp4l 服务，指定网卡和时钟模式
  4. 启动 phc2sys 将 PTP 时间同步到系统时钟
# ptp4l 配置文件示例
[global]
interface = eth0
clock_class = 248
network_transport = L2
delay_mechanism = P2P
logSyncInterval = 0
logMinDelayReqInterval = 0
注意：PTP 对网络质量要求很高。如果网络中有抖动，PTP 的同步精度会下降。我建议在仿真环境中单独划一个 VLAN 给 PTP 流量，避免被其他数据干扰。

好了，硬件选型、软件栈配置、网络拓扑设计，这三块都讲完了。搭建仿真环境不是一蹴而就的事，需要反复调试和验证。但只要你按照我说的这几步走，至少能保证你的仿真环境不会在起跑线上就输给生产环境。

记住一句话：仿真环境的质量，决定了你优化方案的可信度。别在这个环节省钱，也别偷懒。你投入的每一分精力，都会在后续的延迟优化中加倍回报。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →