操作系统调优：内核旁路、CPU隔离、中断亲和性、大页内存
做高频交易系统，说白了就是在跟物理极限较劲。你算法再牛，策略再精，操作系统不配合，一切都白搭。我见过太多团队，花大价钱买硬件，结果被操作系统拖了后腿。今天咱们聊聊操作系统调优的几个核心技巧。
内核旁路：绕过那个碍事的管家
先说说内核旁路。传统网络通信，数据包要经过内核协议栈，这就像你寄快递，非得经过总公司的分拣中心。延迟高不说，还容易丢包。内核旁路就是让你直接跟网卡对话，跳过操作系统这个管家。
我个人习惯用DPDK。它让用户态程序直接接管网卡，数据包从网卡到应用，中间不经过内核。我曾在项目中遇到过，用传统方式处理10Gbps流量，CPU占用率直接飙到80%。换成DPDK后，同样流量，CPU占用不到10%。
核心思路：用户态驱动 + 轮询模式，替代内核态中断 + 拷贝模式。
实现起来其实不复杂。DPDK会绑定网卡队列到特定CPU核心，然后应用程序轮询这些队列。代码大概长这样：
// DPDK初始化示例
int rte_eal_init(argc, argv); // 初始化环境抽象层
struct rte_mempool *mbuf_pool = rte_pktmbuf_pool_create("MBUF_POOL",
NUM_MBUFS, MBUF_CACHE_SIZE, 0, RTE_MBUF_DEFAULT_BUF_SIZE, rte_socket_id());
// 配置网卡
struct rte_eth_conf port_conf;
port_conf.rxmode.mq_mode = ETH_MQ_RX_RSS;
rte_eth_dev_configure(port_id, 1, 1, &port_conf);
// 启动轮询
while (1) {
nb_rx = rte_eth_rx_burst(port_id, 0, rx_pkts, MAX_PKT_BURST);
// 处理数据包
}避坑指南：我曾经犯过一个低级错误——没给DPDK预留足够的内存。结果运行时频繁触发swap，延迟直接崩了。记住，DPDK需要大页内存支持，后面会细说。
CPU隔离：别让系统抢你的核心
CPU隔离，说白了就是把某些核心从操作系统的调度中摘出来，专门给你的交易进程用。你想想看，如果系统突然把你的进程切到另一个核心上，缓存全丢了，延迟能不高吗？
Linux的isolcpus参数就是干这个的。在grub配置里加上：
isolcpus=2,3,4,5 nohz_full=2,3,4,5 rcu_nocbs=2,3,4,5这表示核心2到5被隔离出来，系统不会把普通进程调度到这些核心上。nohz_full是关闭时钟中断，rcu_nocbs是避免RCU回调干扰。这三个参数我建议一起用。
嗯，这里要注意：隔离不是万能的。你隔离了核心，但中断还是可能打到这些核心上。所以还得配合中断亲和性，把中断绑定到非隔离核心上。
警告：别把所有核心都隔离了！至少留一个核心给操作系统。我见过有人把0号核心也隔离了，结果系统直接卡死。留核心0给系统用，这是铁律。
中断亲和性：让中断别乱跑
中断亲和性，就是指定哪个CPU核心处理哪个设备的中断。默认情况下，中断会在所有核心间乱跳。这对高频交易来说简直是灾难——你正在处理一个订单，突然被网卡中断打断，上下文切换的成本可不低。
设置方法很简单。先看中断号：
cat /proc/interrupts | grep eth0然后设置亲和性：
echo 1 > /proc/irq/124/smp_affinity // 绑定到核心0
echo 2 > /proc/irq/125/smp_affinity // 绑定到核心1这里的数字是位掩码。1表示核心0，2表示核心1，4表示核心2，以此类推。我习惯把网卡中断绑定到非隔离核心上，让交易进程独占隔离核心。
| 核心编号 | 位掩码 | 用途 |
|---|---|---|
| 0 | 1 | 系统进程 + 网卡中断 |
| 1 | 2 | 系统进程 + 网卡中断 |
| 2-5 | 4,8,16,32 | 交易进程（隔离） |
个人经验：我曾经遇到一个诡异问题——交易延迟每隔几分钟就跳一次。查了半天，发现是某个内核线程在隔离核心上跑。用taskset命令把它绑到核心0上，问题就解决了。
大页内存：别让TLB成为瓶颈
大页内存，英文叫HugePages。为什么需要它？因为传统4KB的页，TLB（页表缓存）很容易被撑爆。你想想看，一个交易系统要处理海量数据，TLB miss一多，延迟就上去了。
Linux默认支持2MB和1GB的大页。我建议用1GB的，效果最明显。配置方法：
# 预留1GB大页
echo 4 > /sys/kernel/mm/hugepages/hugepages-1048576kB/nr_hugepages
# 挂载hugetlbfs
mount -t hugetlbfs hugetlbfs /dev/hugepages然后在代码里用mmap分配大页内存：
#include <sys/mman.h>
#include <fcntl.h>
int fd = open("/dev/hugepages/hugepage_1G", O_CREAT | O_RDWR, 0755);
void *addr = mmap(NULL, 1UL * 1024 * 1024 * 1024,
PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
// 使用addr指向的内存
// 记得munmap和close效果对比：用4KB页时，TLB miss率大约在5%左右。换成1GB大页后，TLB miss率降到0.01%以下。对延迟敏感的应用来说，这个提升是质的飞跃。
为什么会这样？因为TLB条目有限，4KB页只能覆盖几十MB内存。而1GB大页，一个条目就能覆盖1GB。你的交易数据、共享内存、DPDK的mbuf池，全都能塞进TLB里。
注意：大页内存是稀缺资源。预留太多，普通进程可能没内存用。我一般预留总内存的30%-50%，具体看你的数据量。还有，大页内存不能swap，所以别超配。
知识体系总览
这四个技巧不是孤立的，它们环环相扣。我画了张图，帮你理清关系：
这四个技巧，内核旁路解决的是网络路径问题，CPU隔离解决的是调度干扰问题，中断亲和性解决的是中断打搅问题，大页内存解决的是内存访问效率问题。它们从不同维度，共同构建了一个低延迟的运行环境。
说实话，操作系统调优是个细活。每个参数都要根据你的硬件、流量模型、策略特点来调整。没有银弹，只有不断测试、不断优化。我当年为了调优，在测试环境跑了整整两周的压测，才找到最优配置组合。
嗯，今天就聊到这儿。记住，调优不是一蹴而就的事，但每优化一个点，你的系统就离极限更近一步。