操作系统调优：内核旁路、CPU亲和性与隔离、大页内存、中断绑定与轮询模式

各位同学，今天我们来聊聊操作系统调优。说白了，就是怎么让Linux这个通用操作系统，变成一台专为极速行情服务的“裸金属”机器。

我刚开始做低延迟系统时，总觉得代码写好了就万事大吉。结果呢？行情数据到了应用层，延迟已经多了几十微秒。查来查去，发现是内核网络栈在作祟。嗯，从那以后，我明白了——操作系统不调优，你的代码再牛也白搭。

一、内核旁路（DPDK）—— 让网卡直接跟应用对话

先问大家一个问题：行情数据从网卡到你的应用，中间要经过多少层？

网卡 → 内核中断处理 → 网络协议栈 → socket缓冲区 → 系统调用 → 用户态应用。这一套下来，几十微秒就没了。而且内核的调度是不可控的，延迟抖动很大。

DPDK（Data Plane Development Kit） 就是来解决这个问题的。它的思路很简单：让用户态程序直接接管网卡，绕过内核。

DPDK的核心机制：

• UIO（Userspace I/O）：将网卡设备映射到用户态，应用可以直接读写寄存器
• 大页内存：DPDK使用大页来分配内存池，避免TLB miss
• 无锁环形队列：数据包在核间传递使用无锁ring，避免锁竞争
• 轮询模式：应用主动轮询网卡，而不是等待中断

一个简单的DPDK初始化示例：

// 初始化DPDK环境
int rte_eal_init(int argc, char **argv);

// 分配内存池
struct rte_mempool *mbuf_pool = rte_pktmbuf_pool_create(
    "mbuf_pool", NUM_MBUFS, MBUF_CACHE_SIZE, 0,
    RTE_MBUF_DEFAULT_BUF_SIZE, rte_socket_id());

// 配置网卡
struct rte_eth_conf port_conf = {
    .rxmode = { .max_rx_pkt_len = ETHER_MAX_LEN }
};
rte_eth_dev_configure(port_id, 1, 0, &port_conf);

// 启动接收
rte_eth_rx_burst(port_id, 0, &bufs[0], MAX_PKT_BURST);

二、CPU亲和性与隔离——给行情处理一个专属核心

你想想看，如果行情处理线程在CPU0上跑着跑着，被系统调度到了CPU3，那缓存就全废了。延迟直接翻倍。

CPU亲和性（CPU Affinity） 就是把线程绑定到固定的CPU核心上。这样缓存命中率高，调度开销也省了。

我习惯用 taskset 命令来绑定：

# 将进程绑定到CPU2和CPU3
taskset -c 2,3 ./my_trading_app

# 或者在代码里设置
cpu_set_t cpuset;
CPU_ZERO(&cpuset);
CPU_SET(2, &cpuset);
pthread_setaffinity_np(pthread_self(), sizeof(cpu_set_t), &cpuset);

但光绑定还不够。你绑定了CPU2，可系统还是会把其他中断、内核线程调度到CPU2上。所以需要CPU隔离。

在Linux启动参数中设置 isolcpus：

# 在 /etc/default/grub 中
GRUB_CMDLINE_LINUX="isolcpus=2,3 nohz_full=2,3 rcu_nocbs=2,3"

# 然后更新grub
update-grub

这样CPU2和CPU3就彻底从系统调度中隔离出来了。只有你指定的线程才能用它们。

三、大页内存——减少TLB miss，提升内存访问速度

这个知识点其实很简单。Linux默认内存页是4KB。一个行情系统可能要处理几百GB的数据，页表项就非常多。TLB（快表）根本装不下，频繁miss，内存访问就慢了。

大页内存（HugePages） 把页大小变成2MB甚至1GB。页表项少了，TLB命中率就高了。

配置方法：

# 临时分配1024个2MB大页
echo 1024 > /proc/sys/vm/nr_hugepages

# 永久配置（在 /etc/sysctl.conf 中）
vm.nr_hugepages = 1024

# 查看是否成功
grep HugePages /proc/meminfo

在代码中使用大页：

// 使用mmap分配大页内存
void *ptr = mmap(NULL, size, PROT_READ | PROT_WRITE,
                 MAP_PRIVATE | MAP_ANONYMOUS | MAP_HUGETLB,
                 -1, 0);

四、中断绑定与轮询模式——减少上下文切换

传统模式下，网卡收到数据包，会触发中断。CPU停下当前工作，去处理中断。处理完了再回来。这一来一回，就是一次上下文切换。行情密集时，每秒几百万个包，中断风暴就来了。

中断绑定（IRQ Affinity） 就是把网卡中断固定到某个CPU核心上。这样其他核心就不会被中断打扰。

# 查看网卡中断号
cat /proc/interrupts | grep eth0

# 绑定中断到CPU1
echo 2 > /proc/irq/123/smp_affinity  # 二进制10表示CPU1

但更好的方案是轮询模式。应用线程主动去网卡队列里取数据，而不是等中断来通知。DPDK就是典型的轮询模式。

轮询的伪代码：

while (1) {
    // 从网卡批量取包
    nb_rx = rte_eth_rx_burst(port, queue, &pkts, BURST_SIZE);
    
    if (nb_rx > 0) {
        // 处理这批包
        for (i = 0; i < nb_rx; i++) {
            process_packet(pkts[i]);
            rte_pktmbuf_free(pkts[i]);
        }
    }
    // 没有包时，可以做个pause或者继续轮询
    // 行情系统一般不休眠，保持轮询
}

五、把这些技术组合起来

好了，四个技术点都讲完了。但实际项目中，它们是配合使用的。我给大家画个组合方案：

组件	配置	作用
DPDK	绑定网卡，用户态驱动	绕过内核，直接收包
CPU隔离	isolcpus=2-15	隔离核心，避免干扰
CPU亲和性	DPDK线程绑定到CPU2	固定核心，缓存友好
大页内存	分配2GB大页	减少TLB miss
轮询模式	DPDK默认轮询	无中断，无上下文切换

这套组合拳打下来，行情系统的延迟基本可以控制在个位数微秒。我曾经在一个项目中，用这套方案把某期货交易所的行情延迟从80微秒降到了3微秒。客户当场就惊呆了。

---

公众号:蓝海资料掘金营，微信deep3321