3、ROCm硬件基石：CDNA架构深度剖析、MI系列加速卡（MI250/MI300）的算力与显存演进、Infinity Fabric互联技术
聊ROCm，绕不开它的硬件底座。说白了，AMD的GPU架构演进，从GCN到RDNA（游戏卡），再到CDNA（计算卡），这条路我算是看着它一步步走过来的。CDNA架构，就是专门为HPC和AI训练量身定做的。我个人习惯把CDNA看作是AMD在计算领域的一次“重新出发”，它不再跟游戏卡共用一套设计思路，而是彻底拥抱了矩阵计算和大规模并行。
3.1 CDNA架构深度剖析：从GCN到CDNA的蜕变
我记得最早接触GCN架构时，它的VLIW（超长指令字）设计让编译器优化变得非常头疼。后来到了CDNA，AMD终于想明白了——计算卡就该有计算卡的样子。
CDNA架构的核心设计理念：
- 矩阵核心（Matrix Core）：这是CDNA的灵魂。它专门为矩阵乘法（GEMM）设计，对标NVIDIA的Tensor Core。每个计算单元（CU）里都塞进了矩阵核心，支持FP16、BF16、INT8等多种精度。
- 大容量L2缓存：CDNA架构的L2缓存比RDNA大得多。MI250上每个GCD（计算核心）有8MB L2，MI300更是堆到了16MB。大缓存的好处是减少对HBM显存的访问，降低延迟。
- 高带宽显存控制器：CDNA直接拥抱HBM（高带宽显存），从HBM2e一路升级到HBM3。带宽从MI250的3.2TB/s飙到了MI300的5.3TB/s。
- 统一内存架构：CPU和GPU共享虚拟地址空间。我在项目中遇到过，这能省掉很多显式数据拷贝的麻烦，但要注意页错误（page fault）带来的性能抖动。
避坑指南：我曾经在MI250上调一个稀疏矩阵乘法，发现性能始终上不去。后来一查，是数据对齐没做好。CDNA架构对内存对齐非常敏感，建议所有数据都按128字节对齐，否则矩阵核心的利用率会大打折扣。
下面这张图是我自己画的CDNA架构核心逻辑图，帮你快速理解它的数据流：
个人经验：CDNA架构的矩阵核心在BF16精度下性能最好。如果你用FP32做训练，其实是在浪费硬件。我建议能转BF16就转BF16，性能能翻倍，精度损失几乎可以忽略。
3.2 MI系列加速卡：算力与显存的演进之路
MI系列是AMD在数据中心市场的王牌。从MI100到MI250，再到MI300，每一代都是质的飞跃。我手头正好有MI250和MI300的对比数据，咱们直接看表：
| 参数 | MI250 (OAM) | MI300X | 提升幅度 |
|---|---|---|---|
| 架构 | CDNA 2 | CDNA 3 | — |
| 计算单元 (CU) | 220 (per GCD) × 2 | 304 (统一) | +38% |
| FP32 算力 (TFLOPS) | 47.9 | 163.4 | +241% |
| FP16/BF16 算力 (TFLOPS) | 383 | 1307 | +241% |
| INT8 算力 (TOPS) | 766 | 2614 | +241% |
| 显存容量 | 128 GB HBM2e | 192 GB HBM3 | +50% |
| 显存带宽 | 3.2 TB/s | 5.3 TB/s | +66% |
| Infinity Fabric 带宽 | 400 GB/s | 896 GB/s | +124% |
| 功耗 (TDP) | 500-560W | 750W | +34% |
你想想看，MI300的FP32算力直接翻了3.4倍，这可不是挤牙膏。我个人觉得，MI300最大的亮点是统一内存架构——它不再像MI250那样分成两个GCD（计算核心），而是把所有计算单元整合成一个大的芯片。这意味着什么？意味着你不用再操心跨GCD的数据同步了，编程模型简单了一大截。
注意：MI250虽然是双GCD设计，但每个GCD有独立的L2缓存和显存控制器。如果你在MI250上跑大模型，记得用hipSetDevice()显式指定设备，否则数据可能被分配到错误的GCD上，性能直接腰斩。我曾经踩过这个坑，排查了两天才发现是设备绑定问题。
3.3 Infinity Fabric互联技术：把GPU串起来
单卡再强，也架不住大模型的需求。Infinity Fabric就是AMD用来解决多卡互联问题的技术。说白了，它是一套高速、低延迟的互联协议，让多个GPU可以像一台机器一样协同工作。
Infinity Fabric的核心特性：
- 高带宽：MI300上每对GPU之间的互联带宽达到896 GB/s，比PCIe Gen5 x16的128 GB/s高了7倍。这意味着多卡通信不再是瓶颈。
- 低延迟：Infinity Fabric的延迟在微秒级别，远低于以太网或InfiniBand。我做过测试，跨卡AllReduce操作，Infinity Fabric比PCIe快了3-5倍。
- 一致性协议：支持缓存一致性。也就是说，一个GPU写入的数据，另一个GPU可以直接读到，不需要显式刷新缓存。这在大规模并行计算中非常有用。
- 拓扑灵活：支持8路、16路甚至更大规模的互联。MI300的8卡模组（OAM）就是通过Infinity Fabric组成一个全互联的拓扑。
避坑指南：我曾经在MI250的8卡集群上跑一个分布式训练任务，发现通信效率很低。后来用rocprofiler一查，发现是Infinity Fabric的链路负载不均衡。建议你在多卡训练时，先用hipBusBandwidth工具测试一下实际带宽，确保所有链路都跑满。如果发现某条链路带宽异常，检查一下物理连接或固件版本。
Infinity Fabric的物理层是基于AMD的IFOP（Infinity Fabric On-Package）技术。在MI300上，它直接集成在芯片封装内，通过硅中介层（Silicon Interposer）连接多个芯片。这种设计的好处是延迟极低，带宽极高。嗯，这里要注意，Infinity Fabric的带宽是双向的，所以实际有效带宽要除以2（如果只考虑单向传输的话）。
最后，我想强调一点：Infinity Fabric不仅仅是GPU之间的互联，它还能连接CPU和GPU。在AMD的“大统一”愿景里，CPU、GPU、甚至FPGA都可以通过Infinity Fabric组成一个异构计算集群。我个人觉得，这才是AMD真正的杀手锏——硬件层面的统一编程模型，配合ROCm的软件栈，能大幅降低异构编程的门槛。
公众号:蓝海资料掘金营，微信deep3321