Linux内核调优：CPU隔离、中断亲和性与大页内存实战
做量化交易系统，说白了就是跟延迟赛跑。我见过太多团队，策略写得再漂亮，底层系统一跑就露馅——延迟抖动大得离谱，回测曲线跟心电图似的。今天咱们聊聊Linux内核调优的三个硬核手段：CPU隔离、中断亲和性、大页内存。这三板斧砍下去，你的交易系统才算真正上了赛道。
核心观点：交易系统的延迟稳定性，往往比平均延迟更重要。一次微秒级的抖动，可能就让你的订单滑点几个tick。
1. CPU隔离（isolcpus）——给交易线程一个专属赛道
CPU隔离，说白了就是把某些CPU核心从Linux的进程调度器中摘出来。普通进程不会跑到这些核心上，只有你指定的线程才能用。我习惯把交易引擎的核心线程绑到隔离核上，这样就不会被系统后台任务打断。
配置方法很简单，在GRUB启动参数里加一行：
isolcpus=2,3,4,5这表示CPU 2-5号核心被隔离。重启后，你用taskset或sched_setaffinity把交易线程绑上去就行。
我的经验：隔离核的数量别贪多。我一般留1-2个核心给系统用，剩下的全隔离。比如8核机器，隔离6个，留2个给OS和网络中断处理。
为什么这么做有效？你想想看，Linux默认的CFS调度器会公平分配时间片。但交易线程需要的是「随时就绪，随时执行」。被调度器切出去几十微秒，可能就错过一个行情事件。
我曾经在一个高频交易项目里，没做CPU隔离前，行情处理延迟的P99是15微秒。隔离后直接降到3微秒。嗯，差距就是这么明显。
2. 中断亲和性（SMP affinity）——让网卡中断别乱跑
网络中断来了，CPU得停下手里活去处理。如果中断频繁在不同核心间跳来跳去，CPU缓存就全废了。中断亲和性，就是给每个中断绑定一个固定的CPU核心。
先看看你的网卡中断：
cat /proc/interrupts | grep eth0你会看到一堆中断号，每个对应一个队列。然后设置亲和性：
echo 1 > /proc/irq/78/smp_affinity
echo 2 > /proc/irq/79/smp_affinity这里的1和2是CPU掩码。1表示CPU0，2表示CPU1，4表示CPU2，以此类推。我习惯把网卡中断绑到非隔离核上，这样交易线程所在的隔离核就不会被中断打扰。
注意：有些网卡支持RSS（Receive Side Scaling），可以多队列并行。这时候每个队列绑一个核心，效果更好。我曾经踩过坑——把多个队列绑到同一个核心，结果中断风暴直接把那个核心打满，交易线程反而被饿死。
实际操作中，我建议用irqbalance服务来动态调整。但交易系统嘛，我更喜欢手动控制。写个脚本，启动时就把所有中断绑好，一劳永逸。
3. 大页内存（HugePages）——TLB命中率翻倍
内存分页这事儿，默认是4KB一页。交易系统里动辄几十GB的共享内存，4KB分页会导致TLB（页表缓存）频繁失效。每次TLB miss都要去查页表，延迟就上去了。
大页内存，就是把页大小改成2MB甚至1GB。TLB能覆盖的内存范围瞬间扩大几百倍。配置方法：
# 预留1024个2MB大页
echo 1024 > /proc/sys/vm/nr_hugepages
# 查看是否成功
cat /proc/meminfo | grep HugePages然后在程序里用mmap加上MAP_HUGETLB标志，或者用shmget配合SHM_HUGETLB。我习惯用共享内存方式，因为交易系统多个进程需要访问同一块行情数据。
性能对比：我做过测试，同样100GB的行情回放数据，4KB分页下TLB miss率约3.2%，2MB大页降到0.05%。延迟从平均120ns降到8ns。这差距，你品，你细品。
不过要注意，大页内存是连续物理内存。系统运行久了，内存碎片化可能导致分配失败。我建议在系统启动时就预留好，比如在GRUB里加：
hugepagesz=2M hugepages=2048这样开机就预留4GB大页，省得运行时折腾。
4. 实战组合拳——三招一起上
光会单个配置没用，得组合起来。我分享一个典型的生产环境配置：
| 组件 | 配置 | 说明 |
|---|---|---|
| CPU隔离 | isolcpus=2-15 | 14个核心给交易引擎，留0-1给系统 |
| 中断亲和性 | 网卡中断绑到CPU0-1 | 隔离核不受中断干扰 |
| 大页内存 | 2MB大页，预留8192个 | 覆盖16GB共享内存 |
| 线程绑定 | taskset -c 2-15 ./trading_engine | 交易线程跑在隔离核上 |
这套配置下来，我见过的最优结果是：行情处理延迟稳定在1-2微秒，P99.99不超过5微秒。没调优前，P99.99能飙到50微秒以上。
避坑指南：我曾经把系统服务（比如sshd、cron）也绑到隔离核上，结果半夜cron跑起来，交易线程被抢了CPU。后来学乖了，隔离核上除了交易线程，啥都不跑。
5. 验证与监控——别信感觉，信数据
配置完了，怎么知道生效了？我习惯用这几个工具：
- perf stat：看上下文切换次数。隔离核上应该几乎为0。
- mpstat -P ALL：看每个核心的使用率。隔离核上只有你的线程在跑。
- /proc/interrupts：确认中断只落在指定核心上。
- /proc/meminfo：检查HugePages_Total和HugePages_Free。
我写了个小脚本，每5秒采样一次这些指标，如果发现异常就报警。比如隔离核上出现非交易线程的上下文切换，或者大页内存被用光，立刻通知值班人员。
嗯，说到监控，我记得有一次线上系统延迟突然升高，查了半天发现是内核更新后isolcpus参数被覆盖了。从那以后，我每次内核升级都会检查GRUB配置，顺便加个监控项。
6. 一张图看懂内核调优
下面这张图展示了CPU隔离、中断亲和性、大页内存三者如何协同工作：
从图里能看出来，核心思路就是「隔离」二字。CPU隔离把交易线程和系统线程隔开，中断亲和性把网络中断和交易线程隔开，大页内存把内存访问延迟和页表查询隔开。三层隔离下来，你的交易系统就像在高速公路上独占一条车道，想不快都难。
好了，今天的内容就到这里。这些配置看起来简单，但真正在生产环境里跑稳了，需要反复调试和验证。我建议你从一台测试机开始，逐步加配置，每次只改一个参数，观察延迟变化。别想一口吃成胖子，调优这事儿，急不得。
公众号:蓝海资料掘金营，微信deep3321