第二章：测试环境搭建——硬件选型建议、操作系统调优与网络配置

大家好，我是你们的老朋友。今天咱们聊聊测试环境搭建。说实话，很多团队在压测时翻车，不是策略不对，而是环境没搭好。硬件选错了、内核参数没调、网络配置有坑——这些我全踩过。今天就把这些经验掰开揉碎讲给你听。

一、硬件选型建议：别让机器拖后腿

硬件选型这事儿，我个人的习惯是「够用就好，但关键点不能省」。你想想看，交易系统对延迟和吞吐量要求极高，硬件选错了，后面再怎么优化都白搭。

1. CPU：主频比核心数更重要

交易系统里，大部分计算是串行的。比如订单簿的撮合逻辑，你没法用多线程并行处理。所以，CPU主频越高越好。我建议选 Intel Xeon 或 AMD EPYC 系列，主频 3.5GHz 以上。核心数嘛，16核到32核就够用了，太多反而浪费。

2. 内存：容量要大，频率要高

交易系统里，内存主要用来缓存订单簿、行情数据。我建议至少 64GB 起步，128GB 更稳妥。内存频率也很重要，DDR4-3200 是底线，DDR5 更好。

3. 硬盘：NVMe SSD 是标配

日志、快照、回放数据都需要快速读写。别用 SATA SSD，更别用机械硬盘。NVMe SSD 的随机读写延迟在微秒级，完全够用。容量方面，1TB 到 2TB 就差不多了。

4. 网卡：25Gbps 起步

交易系统对网络延迟极其敏感。千兆网卡？别想了。我建议至少 25Gbps 的网卡，比如 Mellanox ConnectX-5 或 Intel E810。如果预算充足，直接上 100Gbps。

硬件	推荐配置	避坑点
CPU	Intel Xeon / AMD EPYC，主频≥3.5GHz	别买低频多核的
内存	≥64GB，DDR4-3200 或 DDR5	频率低了延迟高
硬盘	NVMe SSD，1TB+	别用 SATA 或机械盘
网卡	25Gbps 或更高	千兆网卡是瓶颈

二、操作系统调优：Linux 内核参数

硬件选好了，接下来就是操作系统调优。Linux 内核默认参数是为通用场景设计的，交易系统需要极致性能，必须手动调。我一般会改这几个参数：

1. 网络栈优化

交易系统对网络延迟敏感，所以网络栈的调优是重中之重。

# 调整 TCP 缓冲区大小
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

# 启用 TCP 快速打开
net.ipv4.tcp_fastopen = 3

# 减少 TIME_WAIT 连接数
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0  # 注意：新版内核已移除该参数

2. 内存管理优化

交易系统需要低延迟，内存分配和回收策略很关键。

# 减少 swap 使用
vm.swappiness = 1

# 启用透明大页（THP）—— 但要注意
vm.nr_hugepages = 1024  # 建议使用 HugePages 替代 THP

为什么建议用 HugePages？因为 THP 会导致内存碎片，增加延迟。我个人的习惯是直接禁用 THP，手动分配 HugePages。

3. 中断亲和性

把网卡中断绑定到特定 CPU 核心，避免中断在多个核心间迁移，减少延迟抖动。

# 查看网卡中断号
cat /proc/interrupts | grep eth0

# 绑定中断到 CPU 核心（例如 CPU 0-3）
echo 0f > /proc/irq/<中断号>/smp_affinity

三、网络配置：零拷贝与网卡多队列

网络配置是交易系统性能优化的核心。说白了，就是让数据从网卡到应用层的路径尽可能短。这里我重点讲两个技术：零拷贝和网卡多队列。

1. 零拷贝（Zero-Copy）

传统的数据传输需要经过「网卡 → 内核缓冲区 → 用户缓冲区」的多次拷贝。零拷贝技术可以绕过内核缓冲区，直接把数据从网卡送到用户空间。

实现方式有两种：

• DPDK（Data Plane Development Kit）： 绕过内核协议栈，直接操作网卡。延迟可以降到微秒级。我建议交易系统用 DPDK。
• RDMA（Remote Direct Memory Access）： 通过网络直接读写远程内存，延迟更低。但需要专用网卡和交换机。

2. 网卡多队列（RSS / RPS）

网卡多队列技术可以让多个 CPU 核心并行处理网络数据包，避免单个核心成为瓶颈。

• RSS（Receive Side Scaling）： 硬件层面，网卡根据哈希值把数据包分发到不同队列。
• RPS（Receive Packet Steering）： 软件层面，内核把数据包分发到不同 CPU 核心。

配置方法：

# 查看网卡队列数
ethtool -l eth0

# 设置队列数（例如 8 个队列）
ethtool -L eth0 combined 8

# 设置 RSS 哈希策略
ethtool -X eth0 hkey 0x12345678... hfunc toeplitz

四、知识体系总览

下面这张图是我自己画的，把本章的核心逻辑串起来了。你一看就明白。

这张图把硬件、操作系统、网络三个层面的优化要点串起来了。你搭建环境时，按这个框架来，基本不会漏掉关键点。

五、避坑指南

最后，我分享几个实战中踩过的坑：

• 别用虚拟机： 我曾经在虚拟机里做压测，结果延迟抖动特别大。后来发现是虚拟化层引入了额外的中断和调度延迟。所以，交易系统压测一定要用物理机。
• 关闭 CPU 节能： 有些服务器默认开启了 CPU 节能模式，频率会动态调整。这会导致延迟不稳定。记得在 BIOS 里关闭 C-States 和 P-States。
• 别忽略 NUMA： 多路服务器有 NUMA 架构，跨 NUMA 节点访问内存延迟会高很多。我建议把网卡、内存、CPU 绑定在同一个 NUMA 节点上。

---