四、多芯片系统架构设计：同构与异构架构、分布式内存架构、一致性协议（CCIX/CXL）

好，咱们进入第四章。这一章我打算聊聊多芯片系统的架构设计。说实话，这部分内容是我个人觉得最「烧脑」但也最过瘾的。你想想看，单芯片设计已经够复杂了，现在要把多个芯片捏在一起协同工作，这中间的弯弯绕绕可不少。

我当年刚接触多芯片项目时，第一反应是：「不就是把几个芯片连起来吗？」结果第一个原型跑起来，数据一致性就出了大问题。嗯，从那以后我再也不敢小看架构设计了。

4.1 同构架构 vs 异构架构：选哪个？

先说说最基础的选择题：同构还是异构？

同构架构，说白了就是所有芯片都用一样的。比如你搞了4颗完全相同的AI加速芯片，每颗负责处理一部分数据。这种方案的好处是设计简单、软件好写、生产也便宜。我在一个视频处理项目里用过，4颗同构芯片做并行编码，效果还不错。

异构架构就复杂多了。它把不同功能的芯片混在一起，比如CPU+GPU+NPU+FPGA。为什么要这么干？因为每种芯片都有自己的强项。CPU擅长控制逻辑，GPU擅长并行计算，NPU擅长AI推理，FPGA擅长低延迟处理。

我个人习惯是：如果任务单一且负载均衡，选同构；如果任务多样且需要各取所长，选异构。举个例子，自动驾驶系统里，你不可能只用GPU处理所有事——传感器数据预处理用FPGA更快，决策控制用CPU更稳。

关键区别：
  • 同构：设计简单，扩展容易，但功能单一
  • 异构：性能最优，功耗可控，但设计复杂

4.2 分布式内存架构：数据到底放哪？

接下来是分布式内存架构。这个问题我当年踩过坑，所以想重点说说。

多芯片系统里，内存怎么分配？常见的有两种：

  • 共享内存架构：所有芯片访问同一块物理内存。好处是编程简单，坏处是带宽瓶颈明显。
  • 分布式内存架构：每个芯片有自己的本地内存，通过互联网络交换数据。好处是可扩展性好，坏处是数据管理复杂。

我在一个高性能计算项目里，用的是分布式内存架构。每个节点有64GB本地DDR，节点间通过高速互联通信。当时遇到的最大问题是：数据局部性没做好，导致大量跨节点访问，性能直接腰斩。

后来怎么解决的？我们引入了「数据亲和性调度」——尽量让处理数据的任务跑在拥有该数据的节点上。说白了，就是「谁的数据谁处理，别老去别人家串门」。

我的建议： 设计分布式内存时，一定要考虑数据局部性。我曾经因为忽略这一点，导致系统延迟从10us飙升到100us。教训深刻啊。

4.3 一致性协议：CCIX 和 CXL

好，重头戏来了。多芯片系统里最头疼的问题之一：数据一致性。

你想想看，芯片A修改了一个数据，芯片B怎么知道？如果B还在用旧数据，那结果就全错了。这就是一致性协议要解决的问题。

目前主流的有两种：CCIX 和 CXL。我分别说说。

4.3.1 CCIX：老牌选手

CCIX（Cache Coherent Interconnect for Accelerators）是ARM牵头搞的。它基于PCIe物理层，但增加了缓存一致性协议。说白了，就是让加速器和CPU能共享缓存数据，不用来回拷贝。

我在一个FPGA加速项目里用过CCIX。当时的需求是：CPU把数据写到内存，FPGA直接读取处理，处理完再写回去。如果没有CCIX，CPU得先拷贝数据到FPGA的本地内存，处理完再拷回来——这中间的开销太大了。

用了CCIX之后，FPGA可以直接访问CPU的内存空间，延迟从微秒级降到了纳秒级。嗯，效果立竿见影。

4.3.2 CXL：后起之秀

CXL（Compute Express Link）是Intel主导的。它比CCIX更年轻，但发展很快。CXL支持三种协议：

  • CXL.io：基于PCIe，用于I/O操作
  • CXL.cache：允许设备访问CPU的缓存
  • CXL.mem：允许设备访问CPU的内存

我个人更看好CXL。为什么？因为它把内存池化（Memory Pooling）这个概念真正落地了。你想想看，多个芯片可以共享一个内存池，按需分配，不用每个芯片都配满内存。这在数据中心里特别有用——内存利用率能提升30%以上。

注意： CXL和CCIX不兼容。选型时要考虑生态支持。我见过一个团队选了CCIX，结果发现加速器厂商都转向CXL了，最后不得不重新设计。所以，选协议时一定要看未来趋势。

4.4 架构设计实战：一个案例

说了这么多理论，咱们来个实战案例。假设我们要设计一个AI推理系统，要求：

  • 支持多种模型（CNN、RNN、Transformer）
  • 延迟低于1ms
  • 功耗低于200W

我的方案是这样的：

  1. 采用异构架构：CPU（控制）+ NPU（推理）+ FPGA（预处理）
  2. 分布式内存：每个芯片有自己的本地内存，但通过CXL共享一个内存池
  3. 一致性协议：使用CXL.cache和CXL.mem，确保数据实时同步

具体流程：CPU收到请求后，把数据写入共享内存池。FPGA从池中读取数据做预处理（比如图像缩放），然后通知NPU。NPU直接从池中读取预处理后的数据做推理，结果写回池中。CPU再从池中读取结果返回。

整个过程没有一次数据拷贝，全是共享内存访问。延迟从原来的3ms降到了0.8ms。嗯，这个方案后来成了我们公司的参考设计。

多芯片AI推理系统架构图 CPU 控制 & 调度 NPU AI推理 FPGA 预处理 CXL共享内存池 数据零拷贝共享 CXL.io CXL.cache CXL.mem 请求 通知 图例： CPU NPU FPGA 共享内存池 CXL互联

4.5 避坑指南

最后，分享几个我踩过的坑：

  • 别忽视一致性开销：CXL虽然好，但一致性维护是有代价的。频繁的缓存同步会消耗带宽。我曾经在一个项目中，因为一致性粒度太细，导致性能反而下降。后来改成粗粒度同步，问题才解决。
  • 内存池化不是万能的：共享内存池虽然方便，但访问延迟比本地内存高。关键数据还是放本地，非关键数据放池里。这个「二八原则」我一直在用。
  • 协议选型要慎重：CCIX和CXL各有优劣。如果你做的是ARM生态，CCIX可能更合适；如果是x86生态，CXL是主流。我建议先看你的加速器支持什么，再决定。
一个小技巧： 设计多芯片系统时，先画数据流图，再画控制流图。数据流决定架构，控制流决定协议。我每次做新项目都这么干，屡试不爽。

好了，这一章就到这里。多芯片架构设计是个系统工程，没有银弹。但只要你理解了同构/异构的选择、分布式内存的布局、一致性协议的原理，再结合实战经验，就能设计出靠谱的系统。

记住：架构设计不是纸上谈兵，是不断迭代的过程。我做了十几年芯片，每次新项目还是会遇到新问题。保持学习，保持敬畏，这才是工程师该有的态度。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →