第三章 AMD多核硬件架构详解
好，咱们今天来聊聊AMD多核处理器里最核心的硬件架构。说实话，这部分内容我当年刚接触时也绕了不少弯路。你想想看，一个芯片里几十个核，它们怎么通信？怎么访问内存？怎么保证实时性？这些搞不清楚，后面写代码就是瞎蒙。
3.1 CCD与CCX：芯片的基本组成单元
先说说CCD和CCX。这两个缩写你得记牢，因为后面所有关于核间通信、缓存一致性的问题，都跟它们有关。
CCX（Core Complex），就是一组核心的集合。在AMD的架构里，通常4个核心组成一个CCX。这4个核心共享一个L3缓存。嗯，这里要注意，共享L3意味着它们之间的通信延迟很低，大概在几十纳秒级别。
CCD（Core Chiplet Die），就是一颗芯片上集成的多个CCX。比如一个CCD里可以放1个或2个CCX。我见过一些项目，为了降低功耗，只启用一个CCX里的部分核心，但这样其实浪费了L3缓存资源。
关键点：CCX内部的核心访问L3缓存延迟极低，但跨CCX访问L3，延迟会翻倍。实时系统里，如果你把两个实时任务放在同一个CCX里，它们的响应时间会稳定很多。
我记得有一次做工业控制项目，客户要求四个电机控制任务必须在100微秒内响应。我一开始把任务分散到两个CCX上，结果发现抖动很大。后来全部塞进同一个CCX，问题就解决了。说白了，就是利用了CCX内部的高速缓存一致性。
3.2 Infinity Fabric：连接一切的脊梁
Infinity Fabric，简称IF总线。这是AMD自己搞的一套互联架构。你可以把它理解成芯片内部的高速公路。所有CCD之间、CCD与内存控制器之间、CCD与PCIe控制器之间，都靠它来连接。
IF总线的带宽和延迟，直接决定了多核系统的性能上限。我个人习惯在项目初期就查清楚目标处理器的IF频率，因为这会影响到内存访问延迟。
小技巧：在BIOS里可以调整IF频率，但别盲目拉高。我曾经为了追求性能把IF频率从1800MHz超到2000MHz，结果系统跑实时任务时频繁出现缓存一致性错误。后来降回默认值才稳定。
IF总线还有一个重要特性——它支持多个数据通道同时传输。这意味着，一个CCX在访问内存的同时，另一个CCX可以跟PCIe设备通信，互不干扰。这对实时系统来说太重要了。
3.3 内存层级：从L1到NUMA
AMD的内存层级设计，说实话，比Intel的要复杂一些。咱们一层层来看。
L1缓存
每个核心独享。分为L1指令缓存和L1数据缓存，各32KB。延迟大概3-4个时钟周期。嗯，这里要注意，L1缓存是实时任务最关键的资源。我建议你把最频繁访问的数据结构放在L1里。
L2缓存
每个核心独享，512KB。延迟大概12个时钟周期。如果你在写中断服务程序，尽量让代码和数据都落在L2里。
L3缓存
每个CCX共享，通常是16MB或32MB。延迟大概40-50个时钟周期。跨CCX访问L3，延迟会翻倍到80-100个时钟周期。
避坑指南：我曾经在一个项目中，把实时任务的数据放在全局变量里，结果这些变量被分配到了另一个CCX的L3缓存中。每次访问都要跨CCX，延迟直接翻倍。后来我用了内存绑定（memory binding）技术，强制把数据分配到任务所在CCX的L3里，问题才解决。
NUMA架构
AMD的多路服务器系统（比如EPYC系列）采用NUMA架构。每个CCD有自己的内存控制器，访问本地内存延迟低，访问远端内存延迟高。
| 内存访问类型 | 延迟（近似） | 带宽 |
|---|---|---|
| 本地内存（同一CCD） | 100-150ns | ~50GB/s |
| 远端内存（跨CCD） | 200-300ns | ~30GB/s |
| 跨Socket内存 | 300-500ns | ~15GB/s |
你想想看，如果实时任务跑在CCD0上，却频繁访问CCD1的内存，那延迟翻倍是小事，关键是抖动会变得不可预测。我建议你在设计阶段就用工具（比如numactl）检查内存访问拓扑。
3.4 PCIe通道与设备直连
PCIe通道，说白了就是连接外部设备的高速接口。AMD处理器通常提供128条PCIe 4.0或5.0通道。这些通道可以灵活分配给不同的设备。
设备直连（Device Direct Access），是AMD的一个特色功能。它允许PCIe设备直接访问系统内存，而不需要经过CPU。这对实时系统来说是个福音——你可以让数据采集卡直接把数据写入内存，CPU只需要在数据准备好时去读取就行。
实战经验：我在做雷达信号处理项目时，用了设备直连技术。雷达数据通过PCIe直接写入预分配的内存区域，CPU只负责处理。这样CPU的负载从80%降到了30%，而且数据延迟从微秒级降到了纳秒级。
不过，设备直连也有坑。你得确保PCIe设备和CPU之间的缓存一致性。AMD的IOMMU（输入输出内存管理单元）可以帮忙，但配置起来比较麻烦。我曾经因为忘记配置IOMMU，导致设备写入的数据和CPU读取的数据不一致，排查了整整两天。
3.5 实时系统设计中的硬件考量
好了，前面讲了这么多硬件细节，咱们来总结一下，在实时系统设计中，这些硬件特性到底该怎么用。
- 任务分区：把实时任务尽量放在同一个CCX里。如果任务太多，至少保证它们共享同一个L3缓存。
- 内存分配：使用内存绑定技术，确保实时任务的数据分配在本地内存。避免跨CCD或跨Socket访问。
- 中断亲和性：把中断绑定到处理该中断的核心所在的CCX。避免中断跨CCX传递。
- PCIe设备：优先使用设备直连，减少CPU干预。但一定要配置好IOMMU和缓存一致性。
- IF总线监控：在运行时监控IF总线的带宽利用率。如果超过70%，考虑优化数据流或升级硬件。
个人建议：刚开始做AMD多核实时系统时，别急着优化。先用默认配置跑通，然后用性能分析工具（比如perf、AMD uProf）看看瓶颈在哪里。我见过太多人一上来就调参数，结果越调越乱。
嗯，这一章的内容就到这里。下一章咱们会深入讲解如何在AMD多核平台上配置实时操作系统，包括核隔离、中断管理、内存锁定等实战技巧。到时候我会拿一个具体的项目案例来演示，保证你能用得上。