操作系统调优：为低延迟行情系统打好地基

说实话，很多做量化交易的朋友，一开始都把精力花在策略和算法上。这当然没错。但等到实盘跑起来，发现行情数据总是慢半拍，回放时卡顿，才意识到操作系统这层没调好。

我个人习惯，在搭建任何低延迟系统之前，先花一整天时间，把操作系统内核参数调一遍。这就像盖房子打地基，地基不稳，上面装修得再漂亮也没用。

今天我们就聊聊四个核心方向：CPU隔离与中断亲和性、内存大页、文件系统选择、CPU频率与节能策略。这四块搞定了，你的行情存储与回放系统，才算真正有了低延迟的底子。

一、CPU隔离与中断亲和性

1.1 为什么要做CPU隔离？

你想想看，行情数据进来的时候，CPU正在处理网卡中断、时钟中断、还有各种系统进程的调度。这些乱七八糟的东西，会把你的行情处理线程打断。一次打断可能就几微秒，但累积起来，延迟就上去了。

CPU隔离，说白了就是把某些CPU核心「藏起来」，不让操作系统随便用。只让我们的行情处理进程跑在这些核心上。这样就不会被其他进程打扰。

1.2 怎么配置？

在Linux启动参数里加 isolcpus。比如我有16个核心（0-15），我想隔离最后4个核心给行情用：

# 在 /etc/default/grub 中修改 GRUB_CMDLINE_LINUX
GRUB_CMDLINE_LINUX="isolcpus=12,13,14,15 nohz_full=12,13,14,15 rcu_nocbs=12,13,14,15"

# 更新grub
grub2-mkconfig -o /boot/grub2/grub.cfg
# 或者 Ubuntu 用
update-grub

这里我额外加了 nohz_full 和 rcu_nocbs。什么意思呢？nohz_full 让这些核心尽量不接收时钟中断，rcu_nocbs 把RCU回调也挪走。嗯，这些都是为了减少对隔离核心的打扰。

1.3 中断亲和性

CPU隔离好了，但网卡中断还是会随机落到某个核心上。万一落到我们隔离出来的核心上，那就白忙活了。

所以还要设置中断亲和性。把网卡中断绑定到非隔离的核心上。

# 查看网卡中断号
cat /proc/interrupts | grep eth0

# 假设中断号是 78，把它绑定到 CPU 0-3
echo 0f > /proc/irq/78/smp_affinity

# 0f 是位掩码，表示 CPU 0,1,2,3
# 二进制 00001111 = 0x0f

我曾经在一个项目里，忘了设置中断亲和性。结果行情处理线程被网卡中断频繁打断，延迟从5微秒飙到了50微秒。排查了一整天，最后发现是这个问题。从那以后，我每次调优都先检查中断亲和性。

二、内存大页（HugePages）

2.1 为什么需要大页？

现代CPU使用分页机制管理内存。默认页面大小是4KB。对于行情系统，动辄几十GB的内存映射，4KB的页面意味着上千万个页表项。TLB（页表缓存）根本装不下，频繁miss，性能就崩了。

大页（HugePages）把页面大小提升到2MB甚至1GB。页表项数量减少几百倍，TLB命中率大幅提升。说白了，就是让CPU少做「查字典」的工作。

2.2 配置方法

我建议用透明大页（Transparent HugePages）？不，千万别用。透明大页是内核自动管理的，有时候会触发内存规整（compaction），导致延迟抖动。对于低延迟系统，一定要用静态大页。

# 分配 1024 个 2MB 的大页，总共 2GB
echo 1024 > /proc/sys/vm/nr_hugepages

# 或者永久生效，在 /etc/sysctl.conf 添加
vm.nr_hugepages = 1024

# 查看分配情况
cat /proc/meminfo | grep Huge

然后在程序里，用 mmap 加上 MAP_HUGETLB 标志，或者用 libhugetlbfs 库来分配大页内存。

2.3 大页与共享内存

行情存储系统经常用共享内存做进程间通信。大页也能用在这里：

# 挂载大页文件系统
mount -t hugetlbfs none /dev/hugepages

# 在代码中通过 shmget 使用大页
shmget(IPC_PRIVATE, size, IPC_CREAT | SHM_HUGETLB | 0666);

我记得有一次，一个同事抱怨行情回放速度上不去。我一看，他用的是默认4KB页面，共享内存映射了8GB数据。TLB miss率高达15%。换成大页后，直接降到0.1%以下。速度提升了将近3倍。

三、文件系统选择：XFS vs Ext4

3.1 核心差异

行情存储系统，对文件系统的要求很明确：高并发写入、大文件支持、元数据操作快。

特性	XFS	Ext4
最大文件大小	8EB（Exabytes）	16TB
最大文件系统大小	8EB	1EB
并发写入性能	优秀（分配组设计）	一般（单个inode锁）
元数据操作	快（B+树）	中等（Htree）
延迟稳定性	更稳定	偶有抖动
碎片化	低（延迟分配）	中等

我个人习惯，行情数据盘一律用XFS。为什么？因为行情数据是典型的「写一次、读多次」模式。XFS的延迟分配策略，能有效减少文件碎片。而且它的并发写入性能确实比Ext4好。

3.2 挂载参数调优

光选XFS还不够，挂载参数也要调：

# 推荐挂载参数
mount -t xfs -o noatime,nodiratime,allocsize=1m,largeio,nobarrier /dev/sdb1 /data

• noatime/nodiratime：不更新访问时间，减少写操作
• allocsize=1m：预分配1MB的块，减少碎片
• largeio：优化大I/O性能
• nobarrier：关闭写屏障（如果使用带电池保护的RAID卡或NVMe）

3.3 Ext4什么时候用？

Ext4也不是一无是处。对于小文件多、随机读写频繁的场景，Ext4反而有优势。比如存储日志文件、配置文件这些。我一般把系统盘用Ext4，数据盘用XFS。

四、CPU频率与节能策略

4.1 节能策略是延迟杀手

现代CPU都有节能功能。比如Intel的 intel_pstate 驱动，会根据负载动态调整频率。负载低的时候降频省电，负载高的时候升频。

问题在哪？频率切换需要时间。从800MHz升到3.0GHz，需要几十微秒。对于低延迟系统，这几十微秒的波动，足以让行情数据错过最佳处理时机。

你想想看，行情数据突然爆发，CPU还在「慢悠悠」地升频。等频率上来了，数据已经堆积了。这就是延迟抖动的来源。

4.2 怎么关闭？

我建议直接锁定CPU频率到最高，并关闭所有节能特性：

# 设置CPU调度器为 performance
cpupower frequency-set -g performance

# 或者手动设置频率
cpupower frequency-set -f 3.0GHz

# 查看当前频率
cpupower frequency-info

永久生效的话，在 /etc/default/grub 里加：

GRUB_CMDLINE_LINUX="intel_pstate=disable processor.max_cstate=1"

这里 intel_pstate=disable 禁用Intel的节能驱动，processor.max_cstate=1 限制CPU进入深度睡眠状态。

4.3 关于功耗和散热

有人会担心：锁定最高频率，功耗会不会太高？确实会。我见过一台行情服务器，锁定3.5GHz后，功耗从150W飙到280W。但你要想清楚，做低延迟系统，追求的是确定性，不是省电。

散热方面，建议用液冷或者高风量风扇。我曾经遇到过因为散热不够，CPU降频保护，导致延迟飙升的情况。嗯，那又是另一个故事了。

总结

操作系统调优，说白了就是「减少干扰、提高确定性」。CPU隔离让行情线程独占核心，大页减少TLB miss，XFS提供稳定的文件读写，锁定频率消除频率切换抖动。

这四步做完，你的行情存储与回放系统，才算真正有了低延迟的底子。当然，这只是开始。后面还有网络调优、内存屏障、锁优化等等。一步一步来。

---

公众号:蓝海资料掘金营，微信deep3321