4、缓存一致性管理：NPU缓存一致性协议、Cache Line大小优化、写策略（Write-Through vs Write-Back）

缓存一致性，说白了就是让NPU内部各个计算单元看到的“内存画面”是一样的。你想想看，NPU里那么多核，每个核都有自己的L1、L2缓存，如果A核改了某个数据，B核还在用旧数据，那算出来的结果肯定是一团糟。我刚开始做NPU设计时，就吃过这个亏，当时一个简单的矩阵乘法，结果怎么都对不上，查了三天，最后发现是缓存没同步。

4.1 NPU缓存一致性协议：从MESI到MOESI

缓存一致性协议，就是一套“交通规则”。它规定了缓存行（Cache Line）在不同状态之间如何转换。最经典的协议是MESI，后来演进出MOESI，NPU场景下还有更特殊的变种。

MESI协议定义了四种状态：

• M（Modified）：数据被修改，且只在本缓存中。内存中的副本已过时。
• E（Exclusive）：数据只在本缓存中，且与内存一致。没被修改过。
• S（Shared）：数据在多个缓存中，且都与内存一致。
• I（Invalid）：数据无效，需要从其他缓存或内存重新获取。

嗯，这里要注意，MESI有个小缺陷：当某个核想写一个Shared状态的数据时，它必须先发送“Invalidate”消息，让其他核把数据置为Invalid，然后自己才能写。这个过程有延迟。

MOESI协议在MESI基础上加了一个O（Owned）状态：

• O（Owned）：数据被修改，但其他缓存中也有副本（Shared状态）。内存中的副本过时，但拥有O状态的缓存负责在必要时把数据写回内存。

我个人习惯在NPU设计中用MOESI。为什么？因为NPU经常做数据广播——一个数据被多个核同时读。如果都用MESI，每次写操作都要发Invalidate，总线压力很大。MOESI的O状态允许一个核“拥有”脏数据，其他核还能共享读，减少了不必要的写回操作。

4.2 Cache Line大小优化：64B还是128B？

Cache Line大小，说白了就是一次从内存搬多少数据到缓存。这个选择很微妙，大了有大的好处，小了有小的好处。

为什么64B是主流？

• 大多数CPU和NPU的DDR接口，一次突发传输就是64字节。对齐得很好。
• 对于标量计算和随机访问，64B的浪费更少。你只想要一个int，结果搬了128B过来，另一半可能根本用不上。

为什么128B也有市场？

• NPU处理的是张量数据，访问模式是连续的。128B能一次搬更多数据，减少访存次数。
• 对于卷积操作，权重和输入特征图都是连续存储的，128B的预取效率更高。

我记得有一次做图像处理NPU，客户要求处理4K视频。我们一开始用64B Cache Line，结果发现DDR带宽利用率只有60%左右。换成128B后，带宽利用率提升到了85%。但代价是缓存命中率下降了约5%，因为无效数据也多了。

Cache Line大小	带宽利用率	缓存命中率	适用场景
32B	低（~50%）	高（~95%）	随机访问、稀疏计算
64B	中（~70%）	中（~90%）	通用计算、混合负载
128B	高（~85%）	中低（~85%）	连续访问、张量计算
256B	极高（~95%）	低（~70%）	流式处理、大块数据

4.3 写策略：Write-Through vs Write-Back

写策略，就是CPU/NPU写数据时，怎么处理缓存和内存的关系。两种主流策略：写通（Write-Through）和写回（Write-Back）。

Write-Through（写通）

• 每次写操作，同时写缓存和内存。
• 优点：内存中的数据永远是最新的，一致性维护简单。其他核读内存就能拿到最新数据。
• 缺点：写带宽消耗巨大。每次写都要等内存写完成，延迟高。

Write-Back（写回）

• 写操作只写缓存，标记为“脏”。当缓存行被替换时，才写回内存。
• 优点：写带宽利用率高，延迟低。多次写同一个缓存行，最终只写一次内存。
• 缺点：一致性维护复杂。内存中的数据可能过时，需要协议来同步。

你可能会问：“那NPU该用哪种？” 答案是：看场景。

我个人习惯在NPU中混合使用两种策略：

• 权重数据：用Write-Back。权重在推理过程中只读不写，写回策略完全够用，还能省带宽。
• 激活值数据：用Write-Through。激活值经常被多个层共享，写通能保证其他层读到最新数据，避免一致性开销。
• 标量数据（如步长、偏置）：用Write-Through。这些数据量小，写通的开销可以忽略，但一致性收益很大。

4.4 实战：一致性管理的硬件实现

说完了理论，聊聊硬件怎么实现。NPU里通常有一个一致性管理器（Coherence Manager），它负责监听所有缓存操作，维护状态机。

一个典型的一致性管理器包含：

• 目录（Directory）：记录每个缓存行在哪些核的缓存中，以及状态。对于多核NPU，目录是必须的，否则广播消息会淹没总线。
• 监听过滤器（Snoop Filter）：过滤掉不需要监听的请求。比如，如果某个缓存行只在核0中，核1的请求就不需要广播给所有核。
• 写缓冲（Write Buffer）：对于Write-Through策略，写缓冲可以合并多次写操作，减少对内存的访问次数。

我记得在设计一个32核的NPU时，目录表占了不少面积。每个缓存行需要记录32个核的状态，用位图表示。如果缓存有512KB，目录表就要512KB / 64B * 32bit = 256Kbit，约32KB。嗯，这个开销还能接受。

4.5 总结与建议

缓存一致性管理，说白了就是平衡“数据新鲜度”和“性能开销”。

• 协议选型：多核NPU建议用MOESI，减少总线流量。
• Cache Line大小：连续访问用128B，随机访问用64B。最好可配置。
• 写策略：共享数据用Write-Through，私有数据用Write-Back。

最后说一句：一致性问题的bug最难查。我建议在设计阶段就加入一致性检查的硬件模块，比如记录每个缓存行的状态变化日志。流片前多花点时间验证，比流片后改版强一百倍。