第一章：操作系统网络栈调优——内核参数、中断亲和性、内存大页与零拷贝技术
大家好，我是你们的老朋友。今天咱们聊聊操作系统网络栈调优。说实话，很多做电子交易系统的朋友，一开始都把精力放在应用层代码上，觉得算法牛逼就万事大吉了。但我在几个高吞吐项目里摔过跟头之后，才真正意识到——操作系统网络栈，才是那个决定你延迟下限的隐形大佬。
这一章，我会从四个核心维度展开：内核参数调优、中断亲和性、内存大页、零拷贝技术。每个点我都会结合自己的实战经验来讲，希望能帮你少走弯路。
1. 内核参数调优：别让默认值坑了你
Linux 内核的默认网络参数，其实是为通用场景设计的。说白了，它考虑的是「别让服务器崩了」，而不是「让交易报文飞起来」。我个人习惯，拿到一台新机器，第一件事就是改这些参数。
核心参数清单（我常用的）：
net.core.rmem_max和net.core.wmem_max：接收/发送缓冲区最大值。默认 212992 字节，对于高频交易来说太小了。我一般调到 16777216（16MB）。net.ipv4.tcp_rmem和net.ipv4.tcp_wmem：TCP 读写缓冲区的三个值（min, default, max）。我会把 default 设为 1MB，max 设为 16MB。net.core.netdev_max_backlog：网卡队列最大长度。默认 1000，我习惯改成 10000。你想想看，如果瞬间涌入大量订单，队列满了直接丢包，那损失可就大了。net.ipv4.tcp_fastopen：开启 TCP 快速打开。这个能减少一次 RTT，对于短连接场景特别有用。
我记得有一次帮一家券商做优化，他们的订单网关延迟总是忽高忽低。查了半天，发现是 tcp_tw_reuse 没开，导致大量 TIME_WAIT 状态的连接占着端口。开了之后，延迟曲线瞬间平滑了。
# 我的常用调优脚本片段
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.ipv4.tcp_rmem="4096 1048576 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 1048576 16777216"
sysctl -w net.core.netdev_max_backlog=10000
sysctl -w net.ipv4.tcp_fastopen=3
sysctl -w net.ipv4.tcp_tw_reuse=1⚠️ 注意：改参数之前，一定要先备份原值。我曾经在线上环境直接改 tcp_rmem，结果把默认值设得太小，导致部分连接异常。嗯，从那以后我学乖了，每次改之前都先 sysctl -a | grep xxx 看一眼。
2. 中断亲和性：让 CPU 专心干一件事
中断亲和性，说白了就是告诉内核：「这个网卡的中断，请交给 CPU 2 来处理，别让 CPU 0 和 CPU 1 分心。」
为什么重要？因为 CPU 切换上下文是有代价的。如果每次网卡中断都落在不同的 CPU 上，缓存命中率会大幅下降。我个人习惯，把网卡中断绑定到专用的 CPU 核心上，和业务线程隔离开。
💡 我的做法：
- 先用
cat /proc/interrupts | grep eth0找到网卡中断号。 - 然后用
echo "2" > /proc/irq/<中断号>/smp_affinity绑定到 CPU 2。 - 如果有多队列网卡，每个队列绑定一个不同的 CPU。
我记得有个项目，业务方抱怨说系统吞吐上不去，CPU 0 的负载飙到 90%，其他核心却闲着。一看，所有中断都落在 CPU 0 上了。做了亲和性绑定之后，CPU 0 的负载降到 30%，整体吞吐提升了 40%。
另外，如果硬件不支持多队列，可以用 RPS（Receive Packet Steering）在软件层面做负载均衡。不过说实话，RPS 会增加 CPU 开销，能上硬件多队列还是上硬件吧。
3. 内存大页：减少 TLB Miss 的利器
内存大页（HugePages）这个东西，很多做应用层开发的朋友可能不太熟悉。但如果你做的是低延迟交易系统，这玩意儿几乎是必选项。
标准的内存页大小是 4KB，而大页可以到 2MB 甚至 1GB。你想想看，如果应用需要 2GB 内存，用 4KB 页就需要 524288 个页表项，而用 2MB 大页只需要 1024 个。页表项少了，TLB（页表缓存）的命中率自然就高了。
配置大页的步骤：
- 在
/etc/default/grub中添加hugepagesz=2M hugepages=2048。 - 更新 grub 并重启：
grub2-mkconfig -o /boot/grub2/grub.cfg。 - 验证：
cat /proc/meminfo | grep HugePages。
不过要注意，透明大页（THP）我建议关掉。为什么？因为 THP 是内核自动管理的，它会在运行时尝试合并小页，这个过程会导致内存分配延迟抖动。对于交易系统来说，这种不可预测的延迟是致命的。
# 关闭透明大页
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag⚠️ 我曾经踩过的坑：有次在测试环境开了 THP，结果压测时延迟每隔几分钟就跳一次。查了三天，最后发现是 THP 的 defrag 进程在后台做内存整理。关了之后，延迟曲线稳如老狗。
4. 零拷贝技术：少搬一次数据，快一个数量级
零拷贝，字面意思就是「不需要拷贝数据」。传统的数据传输流程是：磁盘 → 内核缓冲区 → 用户缓冲区 → 内核 Socket 缓冲区 → 网卡。数据在内存里被搬来搬去，每次拷贝都消耗 CPU 和内存带宽。
零拷贝技术通过 DMA（直接内存访问）和内存映射，让数据直接从内核缓冲区送到网卡，绕过了用户态。说白了，就是让数据「飞」过去，而不是「搬」过去。
在电子交易系统中，最常用的零拷贝技术是 sendfile 系统调用。比如行情快照的推送，如果用传统的 read + write，延迟可能在 10 微秒级别；换成 sendfile，能降到 2-3 微秒。
// 传统方式
int fd = open("snapshot.dat", O_RDONLY);
char buf[4096];
read(fd, buf, 4096);
write(sockfd, buf, 4096);
// 零拷贝方式
int fd = open("snapshot.dat", O_RDONLY);
sendfile(sockfd, fd, NULL, 4096);另外，splice 和 tee 也是零拷贝家族的重要成员。splice 可以在两个文件描述符之间移动数据，而不经过用户空间。我在做内部消息总线时用过 splice，效果非常棒。
💡 我的建议：如果你的交易系统需要频繁传输大量数据（比如行情快照、订单簿全量数据），优先考虑零拷贝。但如果是小报文（比如单笔订单），零拷贝的优势就不明显了，因为系统调用的开销占比更大。
5. 把这些技术串起来：一个实战案例
最后，我分享一个真实的优化案例。某交易所的订单处理系统，最初延迟在 50 微秒左右。我们做了以下优化：
| 优化项 | 操作 | 延迟改善 |
|---|---|---|
| 内核参数 | 调整 rmem/wmem、开启 tcp_fastopen | 降低 10 微秒 |
| 中断亲和性 | 绑定网卡中断到专用 CPU | 降低 8 微秒 |
| 内存大页 | 启用 2MB 大页，关闭 THP | 降低 5 微秒 |
| 零拷贝 | 行情推送改用 sendfile | 降低 12 微秒 |
| 合计 | 四项优化叠加 | 从 50μs 降到 15μs |
你看，每一项优化看起来都不大，但叠加起来效果惊人。这就是操作系统网络栈调优的魅力——每一微秒的进步，都是真金白银。
好了，这一章的内容就到这里。记住，调优不是一蹴而就的事，需要结合你的业务场景反复试验。下一章我们会深入网卡驱动层，聊聊如何进一步压榨硬件性能。