2. 缓存基础：Cache Line、命中与缺失、直接映射与组相联
好，咱们正式开始聊缓存。说实话，很多程序员写了几年代码，对缓存的认知还停留在「CPU 里有个小内存，比主存快」这个层面。这其实远远不够。你想想看，一个缓存 miss 的代价，可能是几百个 CPU 周期。如果你的程序频繁 miss，那性能基本就交代了。
我个人习惯，在优化任何性能敏感的系统之前，一定会先搞清楚目标 CPU 的缓存结构。因为很多时候，代码层面的「优化」其实是在跟缓存做朋友。
2.1 什么是 Cache Line？
缓存不是按字节来管理的。它有一个基本单位，叫 Cache Line（缓存行）。
大多数现代 CPU 的 Cache Line 大小是 64 字节。什么意思呢？就是 CPU 从主存加载数据到缓存，一次最少拿 64 字节。哪怕你只读一个 int（4 字节），它也会把相邻的 64 字节全部拉进来。
核心概念：Cache Line 是缓存与主存之间数据传输的最小单位。
我在项目中遇到过一个问题：一个多线程程序，两个线程各自修改一个全局变量。这两个变量恰好定义在同一个 64 字节内。结果呢？明明两个线程操作的是不同变量，但每次修改都会导致对方的 Cache Line 失效。这就是经典的 伪共享（False Sharing） 问题。
避坑指南：我曾经在写一个高并发计数器时，因为没注意 Cache Line 对齐，性能直接腰斩。后来用 __attribute__((aligned(64))) 强制对齐，问题就解决了。
2.2 缓存命中与缺失
缓存的工作逻辑其实很简单：CPU 要读数据，先去缓存里找。找到了叫 Hit（命中），找不到叫 Miss（缺失）。
命中当然好，几个周期就拿到数据。但 miss 就麻烦了——CPU 得去主存拿，这通常需要几十到几百个周期。更糟的是，如果 miss 频繁发生，CPU 可能大部分时间都在等内存。
缓存的缺失主要有三种类型：
- 强制缺失（Compulsory Miss）：第一次访问某个数据，缓存里肯定没有。这是不可避免的。
- 容量缺失（Capacity Miss）：缓存太小，装不下所有需要的数据。程序的工作集大于缓存容量时就会出现。
- 冲突缺失（Conflict Miss）：多个数据映射到同一个缓存位置，互相踢来踢去。这个跟缓存的组织方式有关。
嗯，这里要注意：强制缺失你没法避免，但容量缺失和冲突缺失，是可以通过代码优化来缓解的。
2.3 直接映射缓存
直接映射是最简单的缓存组织方式。它的规则是：主存中的每个数据块，只能放到缓存中唯一的一个位置。
怎么确定这个位置？用地址取模。假设缓存有 64 个 Cache Line，那么地址 addr 对应的缓存位置就是 addr % 64。
直接映射的优点是硬件实现简单，查找速度快。但缺点也很明显——冲突缺失严重。如果两个经常访问的数据恰好映射到同一个位置，它们就会反复互相驱逐，导致性能急剧下降。
注意：直接映射缓存的冲突问题，在循环访问 2 的幂次大小数组时特别容易触发。比如你有一个 4096 字节的数组，缓存每行 64 字节，那数组的第 0 个元素和第 64 个元素会映射到同一个 Cache Line。如果你交替访问它们，性能会非常难看。
2.4 组相联缓存
为了解决直接映射的冲突问题，现代 CPU 普遍采用 组相联（Set-Associative） 结构。
组相联的思路是：把缓存分成若干组，每组包含多个 Cache Line。一个数据块可以放到组内的任意一个位置。
举个例子，4 路组相联 缓存：
- 缓存被分成若干组
- 每组有 4 个 Cache Line
- 一个数据块先通过地址计算出它属于哪个组
- 然后可以在该组的 4 个位置中任意存放
说白了，就是给了你更多选择，减少了冲突的概率。
| 组织方式 | 优点 | 缺点 | 常见场景 |
|---|---|---|---|
| 直接映射 | 硬件简单，查找快 | 冲突缺失严重 | 早期 CPU，嵌入式 |
| 全相联 | 几乎没有冲突缺失 | 硬件复杂，查找慢 | TLB（页表缓存） |
| 组相联 | 折中方案，性能均衡 | 比直接映射复杂 | 现代 CPU 的 L1/L2/L3 |
我个人习惯，在分析缓存行为时，先搞清楚 CPU 的组相联路数。比如 Intel 的 L1 数据缓存通常是 8 路组相联，L2 是 4 路或 8 路。知道了这个，你就能估算出最坏情况下的冲突概率。
2.5 知识体系结构图
下面这张图，把本章的核心逻辑串起来了。你可以看到缓存的基本单位、命中缺失的流程，以及两种映射方式的区别。
2.6 实战建议
说了这么多理论，来点实际的。我个人在优化缓存时，会遵循几个简单原则：
- 关注数据局部性：时间局部性（反复访问同一数据）和空间局部性（访问相邻数据）是缓存友好的基础。
- 避免 2 的幂次步长：遍历数组时，步长如果是 2 的幂次，容易触发冲突缺失。我一般会故意加一点偏移。
- 结构体按访问模式排列：把经常一起访问的字段放在同一个 Cache Line 内。
- 使用缓存行对齐：对于多线程共享的数据结构，用
alignas(64)或编译器指令强制对齐。
小技巧：你可以用 perf stat -e cache-misses 来观察程序的缓存缺失率。如果缺失率超过 5%，就值得花时间优化了。
好了，这一章的内容就到这里。缓存这东西，说白了就是「空间换时间」的经典应用。理解了 Cache Line、命中缺失、映射方式，你就掌握了优化程序性能的第一把钥匙。