操作系统调优：Linux内核参数调优
说到量化交易系统的性能，很多人第一反应是优化代码、换更好的硬件。但说实话，我见过太多团队花大价钱买服务器，结果系统跑起来还是卡顿。问题出在哪？往往是操作系统这层没调好。
Linux内核就像交易系统的地基。地基不稳，上层建筑再漂亮也没用。今天我就聊聊内核参数调优的几个关键点：网络缓冲区、文件描述符、调度策略。这些都是我在实盘环境中踩过坑、填过坑的地方。
核心观点：内核参数调优不是玄学，而是基于交易系统实际负载模式的精准配置。调好了，延迟能降30%以上；调不好，系统随时可能崩。
一、网络缓冲区：别让数据堵在路上
交易系统最怕什么？网络延迟。行情数据来了，你的系统却因为缓冲区太小而丢包，这简直是灾难。
我个人习惯把网络缓冲区调大。为什么？因为高频交易场景下，数据包密集且突发性强。默认的缓冲区大小是为通用场景设计的，根本扛不住。
关键参数
| 参数名 | 默认值 | 推荐值 | 说明 |
|---|---|---|---|
| net.core.rmem_default | 212992 | 16777216 | 接收缓冲区默认大小（16MB） |
| net.core.wmem_default | 212992 | 16777216 | 发送缓冲区默认大小（16MB） |
| net.core.rmem_max | 212992 | 67108864 | 接收缓冲区最大值（64MB） |
| net.core.wmem_max | 212992 | 67108864 | 发送缓冲区最大值（64MB） |
| net.ipv4.tcp_rmem | 4096 87380 6291456 | 4096 16777216 67108864 | TCP接收缓冲区（min default max） |
| net.ipv4.tcp_wmem | 4096 16384 4194304 | 4096 16777216 67108864 | TCP发送缓冲区（min default max） |
我的经验：有一次实盘环境出现行情数据丢失，排查了半天才发现是接收缓冲区太小。调大之后，丢包率从0.5%直接降到0。别小看这0.5%，在毫秒必争的交易里，这就是真金白银。
调优命令
# 临时生效
sysctl -w net.core.rmem_default=16777216
sysctl -w net.core.wmem_default=16777216
sysctl -w net.core.rmem_max=67108864
sysctl -w net.core.wmem_max=67108864
# 永久生效（写入/etc/sysctl.conf）
echo "net.core.rmem_default=16777216" >> /etc/sysctl.conf
echo "net.core.wmem_default=16777216" >> /etc/sysctl.conf
echo "net.core.rmem_max=67108864" >> /etc/sysctl.conf
echo "net.core.wmem_max=67108864" >> /etc/sysctl.conf
sysctl -p二、文件描述符：别让系统说「打开的文件太多了」
交易系统要同时连接多个交易所、多个数据源，还要管理大量日志文件。文件描述符不够用，系统就会报错。嗯，这个问题我遇到过不止一次。
默认情况下，Linux对单个进程的文件描述符限制是1024。对于量化交易系统来说，这远远不够。你想想看，光是网络连接就可能上百个，再加上日志文件、共享内存、管道...1024根本不够用。
关键参数
| 参数名 | 默认值 | 推荐值 | 说明 |
|---|---|---|---|
| fs.file-max | 取决于内存 | 1000000 | 系统级最大文件描述符数 |
| ulimit -n（软限制） | 1024 | 655360 | 进程级软限制 |
| ulimit -n（硬限制） | 4096 | 655360 | 进程级硬限制 |
避坑指南：我曾经在部署交易系统时，只改了系统级参数，忘了改进程级限制。结果系统启动后，连接数一上来就报错。排查了整整两个小时才发现问题。记住：系统级和进程级都要改，缺一不可。
调优命令
# 系统级
echo "fs.file-max=1000000" >> /etc/sysctl.conf
sysctl -p
# 进程级（修改/etc/security/limits.conf）
echo "* soft nofile 655360" >> /etc/security/limits.conf
echo "* hard nofile 655360" >> /etc/security/limits.conf
# 验证
ulimit -n三、调度策略：让CPU优先服务交易线程
交易系统的核心逻辑需要低延迟、高优先级。但Linux默认的CFS（完全公平调度器）对所有进程一视同仁。这显然不是我们想要的。
我个人建议把交易线程绑定到特定CPU核心，并设置实时调度策略。这样能确保行情处理、订单发送这些关键任务不被其他进程干扰。
关键参数
| 参数名 | 默认值 | 推荐值 | 说明 |
|---|---|---|---|
| kernel.sched_rt_runtime_us | 950000 | -1 | 实时进程运行时间限制（-1表示不限制） |
| kernel.sched_rt_period_us | 1000000 | 1000000 | 实时进程调度周期（1秒） |
| kernel.sched_migration_cost_ns | 500000 | 5000000 | 进程迁移成本（纳秒） |
我的做法：我会用taskset命令把交易线程绑定到CPU核心0-3，然后用chrt设置SCHED_FIFO优先级99。这样核心0-3就变成了交易专用核心，其他进程无法抢占。效果立竿见影，延迟抖动从微秒级降到纳秒级。
调优命令
# 解除实时进程运行时间限制
echo "kernel.sched_rt_runtime_us=-1" >> /etc/sysctl.conf
sysctl -p
# 绑定CPU核心并设置调度策略（示例）
taskset -c 0-3 chrt -f 99 ./trading_engine
# 查看当前调度策略
chrt -p <pid>四、其他关键参数
除了上面三个核心点，还有一些参数也值得关注。我简单列一下：
- net.ipv4.tcp_tw_reuse：启用TIME_WAIT套接字重用，减少连接建立延迟。建议设为1。
- net.ipv4.tcp_fin_timeout：降低FIN_WAIT2状态超时时间，建议设为15秒。
- net.core.somaxconn：增大监听队列长度，建议设为65535。
- vm.swappiness：降低交换倾向，建议设为10或更低。交易系统尽量别用交换分区。
- kernel.numa_balancing：关闭NUMA平衡，避免内存访问抖动。建议设为0。
重要提醒：参数调优不是越多越好。每个参数都有其适用场景。我建议你先做压力测试，找到瓶颈再针对性调优。盲目照搬别人的配置，可能会适得其反。
五、知识体系图
下面这张图展示了Linux内核参数调优的整体框架。你可以把它当作调优的路线图：
六、调优验证
参数调完了，怎么知道有没有效果？我一般用这几个方法验证：
- 网络延迟测试：用ping或sockperf测试网络延迟，对比调优前后的变化。
- 文件描述符监控：用lsof或/proc/sys/fs/file-nr查看当前使用情况。
- 调度延迟测试：用cyclictest测试实时任务的调度延迟。
- 全链路压测：模拟真实交易场景，观察系统在高负载下的表现。
我的习惯：每次调优后，我都会保留一份调优前的配置备份。万一新配置有问题，可以快速回滚。别问我为什么有这个习惯——吃过亏的人都知道。
好了，这一章的内容就到这里。内核参数调优是个细致活，需要耐心和测试。下一章我会聊聊CPU绑核和中断亲和性，这两个也是降低延迟的关键手段。
公众号:蓝海资料掘金营，微信deep3321