第四章：内存性能优化
内存性能这块，说实话是很多系统性能瓶颈的「隐形杀手」。CPU 再快，如果内存拖后腿，整体性能照样上不去。我这些年调优过的系统，至少有一半的问题最终都指向了内存子系统。今天咱们就聊聊内存分配策略、缓存命中率、带宽管理，还有 NUMA 架构这几个核心点。
4.1 内存分配策略：别让 malloc 成为瓶颈
内存分配看似简单，但不同场景下选错策略，性能差距能到 10 倍以上。我个人习惯把分配策略分成三类：
| 策略 | 适用场景 | 典型延迟 |
|---|---|---|
| glibc malloc（默认） | 通用场景，小对象频繁分配 | ~100ns |
| jemalloc / tcmalloc | 多线程高并发，大对象 | ~50ns |
| 内存池（自定义） | 固定大小对象，实时系统 | ~10ns |
我在项目中遇到过一个问题：一个高并发网关服务，每秒处理 10 万+请求，每个请求都要分配几个小对象。默认的 malloc 导致锁竞争严重，CPU 在分配器上花了 30% 的时间。后来换成 jemalloc，直接降到了 5% 以下。
核心原则：减少分配次数，尽量复用内存。能预分配就别动态分配，能池化就别每次都 new。
嗯，这里要注意一个细节：内存池虽然快，但实现不好容易内存泄漏。我建议用现成的库，比如 Google 的 tcmalloc，或者自己写个简单的 slab 分配器。
4.2 缓存命中率优化：让数据离 CPU 更近
缓存命中率，说白了就是 CPU 能不能在 L1/L2/L3 缓存里找到它想要的数据。如果没命中，就得去主存拿，延迟从几个纳秒飙升到上百纳秒。
为什么会这样？因为现代 CPU 的缓存层级设计决定了：
- L1 缓存：~1ns，32KB 左右
- L2 缓存：~4ns，256KB 左右
- L3 缓存：~10ns，几 MB 到几十 MB
- 主存：~100ns，GB 级别
我优化过一个数据库引擎，查询性能一直上不去。用 perf 一看，L1 缓存缺失率高达 40%。问题出在哪？数据结构设计不合理，频繁访问的字段分散在不同缓存行里。
避坑指南：我曾经把一个结构体里的热点字段和非热点字段混在一起，结果每次访问都要加载两个缓存行。后来把热点字段单独放到结构体开头，用 __attribute__((aligned(64))) 对齐到缓存行边界，命中率直接提升了 15%。
优化缓存命中率，我总结了几个实用技巧：
- 数据局部性：尽量顺序访问内存，避免随机跳转。数组比链表好，因为数组是连续的。
- 结构体对齐：用 __attribute__((packed)) 或手动填充，确保热点数据在一个缓存行内。
- 预取指令：用 __builtin_prefetch 提前加载数据，但别滥用，预取太多反而会污染缓存。
// 示例：优化前 vs 优化后
// 优化前：随机访问，缓存不友好
for (int i = 0; i < N; i++) {
process(data[random_index[i]]);
}
// 优化后：顺序访问，缓存友好
for (int i = 0; i < N; i++) {
process(data[i]);
}
4.3 内存带宽管理：别让数据通路堵车
内存带宽，就是 CPU 和内存之间的数据传输速率。现代 DDR4/DDR5 带宽能到几十 GB/s，但实际应用中很容易跑不满。
你想想看，如果每个核心都在疯狂读写内存，内存控制器就成了瓶颈。我调优过一个视频编解码系统，4K 视频处理时帧率上不去。用 Intel VTune 一测，内存带宽利用率到了 95%，明显是带宽不够了。
| 内存类型 | 理论带宽 | 实际可用带宽 |
|---|---|---|
| DDR4-3200 | 25.6 GB/s | ~20 GB/s |
| DDR5-4800 | 38.4 GB/s | ~30 GB/s |
| HBM2e | ~1 TB/s | ~800 GB/s |
优化带宽的关键点：
- 减少不必要的内存拷贝：用零拷贝技术，比如 sendfile、mmap。
- 使用 SIMD 指令：一次处理多个数据，减少内存访问次数。
- 调整 NUMA 策略：让线程尽量访问本地内存，避免跨 NUMA 节点访问。
注意：带宽优化不是一味追求高带宽，而是匹配实际需求。我曾经见过一个团队为了追求带宽，把所有数据都塞到 HBM 里，结果延迟反而高了，因为 HBM 的延迟比 DDR 高。选型要权衡。
4.4 NUMA 架构优化：别让跨节点访问拖垮性能
NUMA（非统一内存访问）架构，说白了就是每个 CPU 有自己的本地内存，访问本地内存快，访问远程内存慢。延迟差距可能达到 2-3 倍。
我刚开始接触 NUMA 时也踩过坑。一个 4 路服务器，跑数据库，性能始终上不去。后来发现，操作系统默认把内存分配到了随机节点，导致大量跨节点访问。用 numactl 绑定后，性能提升了 30%。
NUMA 优化的核心策略：
- 绑定 CPU 和内存：用 numactl --cpunodebind=0 --membind=0 让线程只访问本地内存。
- 避免内存漂移：第一次分配内存时，尽量在本地节点分配。后续访问就不会跨节点。
- 使用 libnuma API：在代码里显式控制内存分配策略。
// 示例：使用 libnuma 绑定内存到指定节点
#include <numa.h>
void* alloc_on_node(size_t size, int node) {
void* ptr = numa_alloc_onnode(size, node);
if (ptr == NULL) {
perror("numa_alloc_onnode failed");
return NULL;
}
return ptr;
}
// 使用
void* data = alloc_on_node(1024 * 1024, 0); // 分配到 node 0
个人经验：我曾经优化过一个内存数据库，数据量 100GB，跨 NUMA 节点访问占比 40%。通过重新设计数据分区，让每个线程只处理本地节点的数据，延迟从 2ms 降到了 0.8ms。关键是要理解你的数据访问模式。
4.5 知识体系总览
下面这张图是我自己总结的内存性能优化知识体系，涵盖了分配、缓存、带宽、NUMA 四个维度，以及它们之间的关联。
这张图把四个模块串起来了。你想想看，分配策略影响缓存命中率，缓存命中率又影响带宽需求，NUMA 架构则决定了这些操作的物理成本。优化时不能孤立地看某一个点。
最后说一句，内存性能优化没有银弹。每个系统都有自己的特点，关键是要用 perf、VTune 这些工具先测量，找到真正的瓶颈，再对症下药。我见过太多人一上来就改代码，结果优化了半天，瓶颈根本不在那里。