硬件选型与操作系统调优：CPU架构、网卡加速与内核参数
各位同学，今天咱们聊点硬核的。做高频拆单系统，说白了就是跟时间赛跑。你想想看，别人一笔订单从产生到成交要10微秒，你优化到5微秒，那优势就是碾压级的。而这一切的起点，就是硬件选型和操作系统调优。
我个人习惯，在搭建任何低延迟系统之前，先把硬件底子打牢。底子不行，后面软件再怎么优化也是事倍功半。今天这一章，咱们就聚焦三个核心：CPU架构怎么选、网卡和FPGA怎么加速、Linux内核怎么调。
核心观点：低延迟系统的硬件选型，不是选最贵的，而是选最“对”的。NUMA架构、网卡卸载、内核隔离，这三板斧砍下去，延迟能降一个数量级。
1. CPU架构选择：NUMA vs SMP
先问个问题：为什么现代服务器都用NUMA，而不是SMP？
SMP（对称多处理）架构下，所有CPU共享一条内存总线。听起来公平，但问题来了——当CPU数量增多，总线就成了瓶颈。我早年在一家量化公司，用的就是SMP架构的服务器，8个CPU跑高频策略。结果呢？CPU之间抢内存带宽，延迟抖动大得离谱，有时候一笔订单的延迟能差出几十微秒。
NUMA（非统一内存访问）架构就不一样了。每个CPU有自己的本地内存，访问本地内存快，访问远端内存慢。这听起来好像不公平，但实际效果反而更好。为什么？因为我们可以通过绑核和内存亲和性，让每个CPU只访问自己的本地内存，彻底避免总线争抢。
| 特性 | SMP | NUMA |
|---|---|---|
| 内存访问延迟 | 统一，但总线争抢严重 | 本地快，远端慢，但可控制 |
| 扩展性 | 差，CPU越多瓶颈越明显 | 好，适合多核场景 |
| 适用场景 | 低负载、小规模 | 高频交易、大数据处理 |
我在项目中遇到过一件事：某次系统上线前压测，发现延迟曲线像心电图一样忽高忽低。排查了半天，最后发现是NUMA节点之间内存访问不均匀导致的。解决方案很简单——用numactl命令把进程绑定到指定CPU和内存节点上。问题瞬间解决。
实战技巧：用 numactl --hardware 查看NUMA拓扑。然后通过 numactl --cpunodebind=0 --membind=0 ./your_app 绑定进程。记住：绑核和绑内存要一致，否则等于白绑。
2. 网卡与FPGA加速
网卡这块，我建议直接上支持RDMA（远程直接内存访问）的网卡，比如Mellanox ConnectX系列。为什么？因为传统网卡收包要走内核协议栈，中断、拷贝、上下文切换，每一步都在消耗宝贵的微秒。而RDMA网卡可以直接把数据从网卡搬到用户态内存，零拷贝，延迟直接砍半。
但光有RDMA还不够。高频拆单系统对网络延迟的要求是纳秒级的。这时候，FPGA就派上用场了。
FPGA加速的核心思路是：把网络协议栈和业务逻辑直接卸载到硬件上。比如，你可以用FPGA实现一个UDP解析器，从网卡收到数据包到解析出订单字段，整个过程不需要CPU参与。CPU只负责最核心的撮合逻辑。
我记得有一次，我们团队评估FPGA方案。一开始觉得成本太高，后来算了一笔账：用FPGA之后，端到端延迟从10微秒降到了2微秒。对于高频交易来说，这8微秒的差距，可能就是几百万的盈亏。嗯，后来老板二话不说就批了预算。
避坑指南：我曾经见过一个团队，买了昂贵的FPGA板卡，结果驱动和业务代码不兼容，折腾了两个月才跑通。建议：选FPGA方案时，优先考虑有成熟驱动和开发工具链的厂商，比如Xilinx或Intel。别为了省几万块钱，搭进去几个月的开发时间。
3. Linux内核参数调优
硬件选好了，操作系统也得跟上。Linux内核默认配置是为通用场景设计的，对低延迟系统来说，很多参数都需要调整。我重点说三个：isolcpus、irqbalance、以及中断亲和性。
3.1 isolcpus：把CPU隔离出来
isolcpus 是内核启动参数，用来把指定CPU从内核的调度器中隔离出来。说白了，就是告诉内核：“这几个CPU你别碰，留给我的高频进程专用。”
用法很简单，在 /etc/default/grub 的 GRUB_CMDLINE_LINUX 里加上：
isolcpus=2,3,4,5然后更新grub并重启。这样CPU 2-5就不会被内核的普通进程打扰了。你的高频拆单进程就可以独占这些CPU，没有上下文切换，没有中断干扰，延迟自然稳定。
个人经验：隔离CPU的数量不要太多，留1-2个给操作系统和中断处理用。我一般隔离4个CPU给业务进程，剩下的给系统。这样既保证了业务延迟，又不影响系统稳定性。
3.2 irqbalance：关掉它
irqbalance 服务的作用是把中断请求均匀分配到各个CPU上。听起来很公平，但对低延迟系统来说，这是灾难。为什么？因为中断会打断你的业务进程，造成延迟抖动。
我建议的做法是：关掉 irqbalance，然后手动把网卡中断绑定到指定的CPU上。比如，把网卡中断绑定到CPU 0和CPU 1，这样CPU 2-5就可以专心处理业务。
# 关掉irqbalance
systemctl stop irqbalance
systemctl disable irqbalance
# 查看网卡中断号
cat /proc/interrupts | grep eth0
# 手动绑定中断到CPU 0
echo 1 > /proc/irq/<中断号>/smp_affinity这里有个细节：smp_affinity 的值是位掩码。比如CPU 0对应1，CPU 1对应2，CPU 2对应4，以此类推。如果你想绑定到CPU 0和CPU 1，就写3（二进制11）。
我曾经踩过的坑：有一次我手动绑中断，写错了位掩码，结果网卡中断全跑到了CPU 0上，导致CPU 0负载100%，业务进程反而卡住了。嗯，从那以后我每次改完都会用 cat /proc/interrupts 确认一下中断分布。
3.3 其他内核参数
除了上面两个，还有几个参数值得关注：
- kernel.sched_rt_runtime_us：控制实时进程的运行时间。默认是950000（95%），建议改成-1（不限制），避免实时进程被强制暂停。
- net.core.rmem_max 和 net.core.wmem_max：增大网络缓冲区，避免丢包。
- vm.swappiness：设置为0，避免内存交换。高频系统最怕的就是swap，一次磁盘IO就是几毫秒的延迟。
# 在 /etc/sysctl.conf 中添加
kernel.sched_rt_runtime_us = -1
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
vm.swappiness = 0
# 生效
sysctl -p知识体系总览
下面这张图，是我自己总结的高频拆单系统硬件与OS调优的知识体系。你可以把它当作一张地图，随时回来对照。
好了，这一章的内容就到这里。硬件选型和操作系统调优是高频拆单系统的地基，地基打不牢，后面再好的算法也是空中楼阁。下一章咱们会深入拆单算法的核心逻辑，到时候你会感谢今天花时间把硬件调好的自己。