第3章操作系统内核调优

操作系统内核调优：Linux内核参数调优

说到高频交易系统的底层优化，Linux内核调优是个绕不开的话题。我早年刚接触这个领域时，总觉得应用层代码写好了就万事大吉，结果压测时延迟抖动大得离谱。后来才明白——内核才是真正的幕后操盘手。

今天咱们就聊聊几个关键点：HZ、tickless、RCU、中断亲和性、CPU隔离，还有cgroups与实时调度。这些东西听起来有点枯燥，但每一个都直接影响你的交易延迟。

HZ与tickless：别让定时器打断你的交易

先说说HZ。这是内核的时钟滴答频率，传统上设置为100或250。什么意思呢？就是内核每秒会打断CPU 100次或250次，用来处理定时任务。你想想看，如果你的交易线程正在处理一个关键信号，突然被这个滴答打断——哪怕只有几微秒，在高频场景下也是致命的。

核心观点：对于高频交易系统，建议将HZ设置为1000，甚至启用tickless模式（CONFIG_NO_HZ_FULL）。

我个人习惯在编译内核时开启CONFIG_NO_HZ_FULL=y。这样，被隔离的CPU核心就不会收到定时器中断。说白了，就是让交易线程独占CPU，不被任何系统定时器打扰。

# 查看当前HZ配置
cat /boot/config-$(uname -r) | grep CONFIG_HZ

# 启用tickless（需要在编译内核时配置）
CONFIG_NO_HZ_FULL=y
CONFIG_HZ=1000

小提示：我在项目中遇到过，有些云服务器默认HZ=250，跑高频策略时延迟抖动特别明显。改成1000后，抖动直接降了一个数量级。

RCU：读-复制-更新的陷阱

RCU（Read-Copy-Update）是内核里一种高效的同步机制。它允许读操作无锁执行，写操作通过延迟回收来保证一致性。听起来很美对吧？但问题在于——RCU的回收过程（grace period）可能会引入不可预测的延迟。

为什么会这样？因为RCU需要等待所有CPU都经历一次上下文切换，才能安全释放旧数据。如果你的系统里有大量RCU回调堆积，交易线程可能被无辜地阻塞。

# 调整RCU回调的批量处理大小
echo 100 > /sys/kernel/rcu_normal/rcu_normal_batch

# 或者直接禁用RCU加速（牺牲吞吐量换取确定性）
echo 0 > /sys/kernel/rcu_normal/rcu_normal_after_boot

注意：我曾经在一个低延迟项目中，因为RCU回调堆积导致交易线程偶尔卡顿几十微秒。排查了整整两天才发现是RCU的问题。建议对延迟敏感的核心，尽量使用rcu_nocbs内核参数将RCU回调转移到其他核心。

中断亲和性：把中断绑到正确的CPU上

网络中断、磁盘中断、定时器中断……这些中断如果不加控制，可能在任何CPU上触发。对于高频交易系统，我们希望中断尽量远离交易核心。

怎么做？设置中断亲和性（IRQ affinity）。把网卡中断绑定到某个专用CPU上，交易线程跑在另一个隔离的CPU上。这样，中断处理不会抢占交易线程。

# 查看中断号（以eth0为例）
cat /proc/interrupts | grep eth0

# 设置中断亲和性（假设中断号为78，绑定到CPU2）
echo 4 > /proc/irq/78/smp_affinity

# 或者使用irqbalance工具（但建议手动控制）
systemctl stop irqbalance

我的经验：手动设置中断亲和性比依赖irqbalance更可靠。irqbalance虽然智能，但它的动态调整可能引入不确定性。我一般把网卡中断绑到CPU0，交易线程放在CPU2-3上。

CPU隔离：isolcpus与cgroups

CPU隔离是高频交易系统的核心手段之一。通过isolcpus内核参数，可以把某些CPU从内核的调度器中移除。说白了，就是告诉内核：这些CPU你别碰，留给我的交易线程专用。

# 在GRUB配置中添加isolcpus参数
GRUB_CMDLINE_LINUX="isolcpus=2,3 nohz_full=2,3 rcu_nocbs=2,3"

# 更新GRUB
grub2-mkconfig -o /boot/grub2/grub.cfg

但光隔离还不够，你还需要用cgroups来绑定线程。cgroups可以限制进程的资源使用，包括CPU、内存、I/O等。对于实时调度，我们通常使用cgroup的cpu子系统。

# 创建cgroup并绑定CPU
mkdir /sys/fs/cgroup/cpu/trading
echo 2-3 > /sys/fs/cgroup/cpu/trading/cpuset.cpus
echo 100000 > /sys/fs/cgroup/cpu/trading/cpu.cfs_period_us
echo 95000 > /sys/fs/cgroup/cpu/trading/cpu.cfs_quota_us

# 将交易进程加入cgroup
echo $TRADING_PID > /sys/fs/cgroup/cpu/trading/cgroup.procs

关键点：隔离CPU后，记得配合nohz_full和rcu_nocbs，才能真正做到无干扰。我见过有人只用了isolcpus，结果定时器中断和RCU回调还是跑到了隔离核心上——白费功夫。

实时调度：SCHED_FIFO与SCHED_RR

最后聊聊实时调度。Linux默认的CFS调度器（完全公平调度）对延迟不敏感，它追求的是公平性。但高频交易要的是确定性——你的交易线程必须优先执行。

这时候就需要实时调度策略：SCHED_FIFO（先入先出）或SCHED_RR（轮转）。前者让高优先级线程一直运行，直到主动让出CPU；后者在同等优先级线程间轮转。

# 使用chrt命令设置实时调度
chrt -f 99 ./trading_app

# 或者在代码中设置
#include <sched.h>
struct sched_param param;
param.sched_priority = 99;
sched_setscheduler(0, SCHED_FIFO, &param);

警告：实时调度优先级不要设得太高（比如99），否则可能把系统关键进程（如sshd）饿死。我一般设到80-90之间，既保证交易线程优先，又留有余地。另外，记得用ulimit -r限制实时优先级，防止普通用户滥用。

知识体系总览

下面这张图总结了本章的核心逻辑。你可以看到，从内核参数到中断管理，再到CPU隔离和调度策略，每一步都是为了减少延迟抖动，提高确定性。

嗯，到这里内核调优的核心内容就差不多了。记住一句话：高频交易系统的内核调优，本质上是在跟不确定性作斗争。每一个参数、每一个配置，都是为了减少那些不可预测的微秒级延迟。

总结清单：

启用tickless模式，减少定时器中断
优化RCU回调，避免延迟堆积
手动设置中断亲和性，隔离中断CPU
使用isolcpus + nohz_full + rcu_nocbs彻底隔离交易核心
通过cgroups绑定线程，限制资源使用
采用SCHED_FIFO实时调度，优先级设80-90

这些配置看起来琐碎，但每一条都是我踩过坑后总结出来的。你如果按照这个清单去调优，至少能减少80%的延迟抖动。剩下的20%，可能就要靠硬件和网络层面的优化了。

📚 课程目录

操作系统内核调优：Linux内核参数调优

HZ与tickless：别让定时器打断你的交易

RCU：读-复制-更新的陷阱

中断亲和性：把中断绑到正确的CPU上

CPU隔离：isolcpus与cgroups

实时调度：SCHED_FIFO与SCHED_RR

知识体系总览