一、HBM前世今生：从GDDR到HBM的演进之路
大家好，我是你们这堂课的主讲人。做了十几年芯片架构，我亲眼看着内存带宽从几GB/s飙到了现在的TB级。说实话，每次回顾这段历史，我自己都觉得挺震撼的。
今天咱们聊聊HBM——高带宽存储器。这东西现在可是AI芯片的标配，没有它，大模型训练基本玩不转。但HBM不是凭空冒出来的，它背后有一条清晰的技术演进路线。
1.1 带宽瓶颈：为什么GDDR不够用了？
先说说GDDR。GDDR是Graphics Double Data Rate的缩写，说白了就是显卡用的DDR内存。从GDDR3到GDDR6，每一代都在提速，但有个根本问题解决不了——功耗和面积。
我2015年做过一个GPU项目，用的GDDR5。那时候为了把内存控制器布在芯片边缘，整个Die的周长被拉长了不少。你想想看，每颗GDDR芯片需要64位数据线，8颗就是512位。这些线要从芯片内部拉到封装边缘，再走PCB到内存颗粒。信号完整性、功耗、延迟，全是头疼事。
核心矛盾：GDDR走的是片外总线，频率越高，信号衰减越严重。到了GDDR6，虽然单颗带宽能做到64GB/s，但功耗也上去了——每比特传输功耗约4-5pJ。而HBM呢？只有1-2pJ。
为什么会这样？因为GDDR的物理距离太远了。信号从GPU核心出发，要经过硅中介层、封装基板、PCB走线，最后才到内存颗粒。这段路程上，每毫米都在消耗能量、引入噪声。
1.2 HBM的诞生：一场架构革命
HBM的思路完全不同。它把内存颗粒和GPU放在同一个封装里，通过硅通孔（TSV）和微凸点垂直堆叠。说白了，就是把内存从「隔壁邻居」变成了「楼上楼下」。
我记得2013年AMD和Hynix联合发布HBM时，业内很多人觉得这玩意儿太贵、太难做。确实，TSV工艺良率当时只有70%左右，成本是GDDR的3倍以上。但HBM的带宽密度太诱人了——同样面积下，HBM能提供的带宽是GDDR的10倍。
这里我画了一张图，帮大家理解HBM和GDDR在架构上的本质区别：
1.3 HBM代际对比：从1到3E
HBM从2014年量产到现在，经历了五代演进。我整理了一张对比表，大家一目了然：
| 参数 | HBM1 | HBM2 | HBM2E | HBM3 | HBM3E |
|---|---|---|---|---|---|
| 量产时间 | 2014 | 2016 | 2019 | 2022 | 2024 |
| 单堆栈带宽 | 128 GB/s | 256 GB/s | 460 GB/s | 819 GB/s | 1.2 TB/s |
| 最大容量/堆栈 | 1 GB | 8 GB | 16 GB | 32 GB | 36 GB |
| DRAM Die层数 | 4 | 8 | 8-12 | 12-16 | 12-16 |
| I/O速率 | 1 Gbps | 2 Gbps | 3.6 Gbps | 6.4 Gbps | 9.2 Gbps |
| 每比特功耗 | ~3 pJ | ~2.5 pJ | ~2 pJ | ~1.5 pJ | ~1 pJ |
| 典型应用 | AMD Fury X | V100, MI50 | A100, MI100 | H100, MI300 | B200, H200 |
从这张表能看出什么？带宽每代翻倍，功耗每代降低。HBM3E的单堆栈带宽已经到1.2TB/s，是HBM1的10倍。而功耗从3pJ降到了1pJ，这个进步其实比带宽翻倍更难。
我的经验：做HBM2E项目时，我遇到过TSV电阻不一致导致数据眼图闭合的问题。后来发现是工艺角偏差造成的。解决办法是在逻辑Die里加了一组自适应均衡器，动态调整每个TSV通道的驱动强度。这个设计后来被用在了HBM3的参考设计中。
1.4 HBM为何成为AI芯片标配？
这个问题其实很简单——AI计算是带宽饥渴型。你想想看，训练一个GPT-4级别的模型，需要处理PB级的数据。如果内存带宽不够，GPU核心大部分时间都在等数据，算力再强也白搭。
我举个例子。H100配备80GB HBM3，带宽3.35TB/s。如果换成GDDR6，要达到同样带宽，需要约50颗GDDR6芯片，功耗至少翻3倍，PCB面积要扩大4倍。这还不算信号完整性问题——50颗GDDR6同时跑2Gbps，板级设计基本是噩梦。
另外，HBM的能效比优势在AI场景下被放大了。数据中心电费是实打实的成本。HBM每比特传输功耗只有GDDR的1/3到1/4，一个千卡集群一年能省下上百万电费。
注意：HBM不是万能的。它的延迟比GDDR高（因为要经过TSV和硅中介层），对延迟敏感的应用（比如某些数据库场景）不一定适合。另外，HBM的容量扩展受限——目前单堆栈最大36GB，而GDDR6单颗可以做到16GB，扩展更灵活。
但话说回来，对于AI训练和推理，HBM几乎是唯一选择。NVIDIA从V100开始全线采用HBM，AMD的MI系列也是。连Intel的Ponte Vecchio都用了HBM。这个趋势已经很明显了。
我记得2020年有个客户问我：「HBM这么贵，能不能用GDDR6凑合？」我反问他：「你训练一个模型要3天还是3周？」他想了想，最后还是选了HBM。嗯，有时候性能差距就是这么大。
1.5 小结
这一章我们聊了HBM的来龙去脉。从GDDR的带宽瓶颈，到HBM的架构革命，再到代际演进和AI场景的适配。说白了，HBM就是为带宽而生、为AI而优化的产物。
下一章我们会深入HBM的物理层设计，包括TSV、微凸点、硅中介层的具体实现。到时候我会分享一些我在流片过程中踩过的坑，希望对大家有帮助。