4. 内存层次与数据搬运：异构系统中的内存拓扑、Cache一致性、DMA与数据搬运策略
各位同学，咱们今天聊点硬核的。异构计算里，最让人头疼的往往不是算法本身，而是数据怎么搬、搬到哪里去。说白了，计算单元再快，数据喂不进去也是白搭。我这些年调过的坑，十有八九都跟内存搬运有关。
4.1 异构系统的内存拓扑：谁跟谁挨着？
先看一张典型的异构内存拓扑图。CPU、GPU、NPU、DSP，每个计算单元都有自己的“地盘”。
| 计算单元 | 本地内存 | 访问延迟 | 典型容量 |
|---|---|---|---|
| CPU | DDR4/DDR5 | ~100ns | 16-512GB |
| GPU | HBM2e/HBM3 | ~200ns | 16-80GB |
| NPU | SRAM + LPDDR | ~50ns (SRAM) | 8-32MB (SRAM) |
| DSP | L2 SRAM | ~10ns | 1-8MB |
这里有个关键点：跨单元访问内存，代价极高。CPU去读GPU的HBM，延迟能飙到微秒级。我在项目中遇到过，有人把数据放在GPU显存里，然后CPU频繁去轮询状态，结果性能直接腰斩。嗯，这就是典型的“内存拓扑没搞清”。
核心原则：数据尽量放在“离计算最近”的内存里。谁干活，数据就放谁家门口。
4.2 Cache一致性：别让数据“打架”
多核系统里，每个核都有自己的Cache。CPU核A改了变量x，核B读到的还是旧值，这就出事了。Cache一致性协议就是干这个的——保证所有核看到的数据是统一的。
常见的协议有MESI、MOESI。咱们不背协议名，记住本质就行：写传播 + 事务串行化。一个核改了数据，得通知其他核，并且大家得按顺序来。
但在异构系统里，事情就复杂了。CPU和GPU通常不共享Cache一致性域。GPU改了显存里的数据，CPU那边根本不知道。我曾经调试一个bug，GPU算完结果，CPU读回来全是错的，查了两天才发现——忘了手动刷新Cache。
避坑指南：我曾经在CPU+GPU协同计算时，忽略了Cache刷新的开销。每次同步数据前，必须显式调用cudaDeviceSynchronize() + cudaMemcpy()，或者使用cudaStreamSynchronize()。别指望硬件自动帮你搞定。
4.3 DMA：数据搬运的“高速公路”
DMA（Direct Memory Access）说白了就是让数据自己跑，不占用CPU。CPU只需要告诉DMA控制器：“从地址A搬N字节到地址B”，然后就可以去干别的事了。
DMA的好处很明显：
- 解放CPU：CPU不用傻等着数据搬完
- 高带宽：DMA控制器通常有专用总线，带宽比CPU逐字节拷贝高得多
- 低延迟：硬件直接操作，没有软件开销
代码示例（伪代码，展示DMA配置流程）：
// 配置DMA传输
dma_config_t cfg;
cfg.src_addr = (uint32_t)input_buffer; // 源地址
cfg.dst_addr = (uint32_t)output_buffer; // 目标地址
cfg.transfer_size = 1024 * 1024; // 1MB
cfg.transfer_type = DMA_MEM_TO_MEM; // 内存到内存
// 启动DMA
dma_start(&cfg);
// CPU可以去做其他计算
do_other_work();
// 等待DMA完成
dma_wait_for_completion();你想想看，如果没有DMA，CPU得一条条指令去搬数据，那得多慢。我建议在异构系统里，能用DMA的地方绝不用CPU搬。
4.4 数据搬运策略：怎么搬最划算？
数据搬运不是简单的“从A到B”，得讲究策略。我总结了几种常见模式：
4.4.1 双缓冲（Double Buffering）
准备两个缓冲区。一个给计算单元用，另一个给DMA搬数据。计算和搬运重叠进行，流水线化。
// 双缓冲示例
buffer_t buf[2];
int current = 0;
while (more_data) {
// 启动DMA搬运到另一个缓冲区
dma_start(&buf[1 - current]);
// 计算当前缓冲区
compute(&buf[current]);
// 等待DMA完成
dma_wait();
// 交换缓冲区
current = 1 - current;
}4.4.2 批量搬运
小数据频繁搬运，开销很大。尽量攒一批再搬。我在项目中遇到过，有人每次处理一个像素就搬一次，结果DMA启动开销比搬运本身还大。后来改成一行一搬，性能提升了5倍。
4.4.3 数据预取
提前把下一轮要用的数据搬过来。这需要你对计算模式有预判。比如在做矩阵乘法时，可以提前把下一块子矩阵搬进SRAM。
个人经验：我习惯在项目初期就画一张“数据流图”，标清楚每个数据从哪来、到哪去、经过哪些内存层次。这样能提前发现搬运瓶颈，避免后期返工。
4.5 实战中的常见问题
最后聊几个我踩过的坑：
- Cache伪共享：两个核频繁修改同一Cache Line的不同部分，导致Cache Line来回失效。解决办法：数据对齐到Cache Line边界，或者用填充（padding）。
- DMA对齐要求：很多DMA控制器要求源地址、目标地址、传输长度都对齐到某个边界（比如32字节）。不对齐的话，要么报错，要么性能暴跌。
- 内存屏障：在CPU和DMA之间共享数据时，需要插入内存屏障指令，保证CPU的写操作在DMA读取前完成。我见过有人忘了加，结果DMA读到了脏数据。
嗯，今天就先聊到这儿。内存层次和数据搬运，说白了就是“让数据离计算更近，让搬运更高效”。下一章咱们聊聊具体的并行计算模式，到时候会用到今天讲的知识。