1、GPU内存子系统概述
GPU内存层次结构概览
各位同学好，今天我们来聊聊GPU内存子系统。说实话，这个主题我讲了快十年，每次都有新感悟。你想想看，GPU要处理海量数据，内存子系统就是它的命脉。
GPU的内存层次结构，说白了就是一个金字塔。从最顶层的寄存器文件，到L1缓存、共享内存，再到L2缓存，最后是显存。每一层都有自己的使命。
我记得刚入行那会儿，参与过一个图形渲染芯片的项目。当时我们设计的内存层次结构不够合理，导致带宽利用率只有40%左右。后来重新调整了各级缓存的容量配比，才把利用率提上去。这个教训我一直记着。
具体来说，GPU内存层次结构包含以下几个关键层级：
- 寄存器文件：每个线程独享，访问延迟最低，通常只有1-2个时钟周期
- L1缓存/共享内存：每个SM（流式多处理器）私有，延迟约20-30周期
- L2缓存：所有SM共享，延迟约100-200周期
- 显存（HBM/GDDR）：全局共享，延迟高达400-800周期
这里有个关键点：越靠近计算单元，容量越小但速度越快。为什么这样设计？因为局部性原理。程序访问数据时，往往集中在某个小区域。我建议你在设计时，重点关注这个局部性特征。
内存子系统在GPU架构中的角色
内存子系统在GPU里扮演什么角色？我打个比方：计算单元是工厂的工人，内存子系统就是物流系统。工人再能干，原材料送不过来也是白搭。
具体来说，内存子系统承担着三大职责：
- 数据供给：为数千个计算核心持续提供数据
- 数据暂存：利用缓存减少对显存的访问次数
- 数据同步：保证不同线程之间数据的一致性
我在项目中遇到过一个问题：某个深度学习训练任务，计算单元利用率只有30%。排查下来，发现是内存子系统带宽不足，计算单元大部分时间都在等数据。后来我们优化了数据预取策略，利用率提升到了75%。
嗯，这里要注意：内存子系统的设计，直接影响整个GPU的吞吐量。你想想看，一个现代GPU有上万个线程同时运行，每个线程都在请求数据。内存子系统必须高效地调度这些请求。
核心观点：内存子系统的设计目标，就是让计算单元"吃饱"。说白了，就是提供足够的数据带宽，同时把延迟控制在可接受范围内。
关键性能指标
评价内存子系统的好坏，主要看三个指标：带宽、延迟、容量。这三个指标相互制约，很难同时做到最优。
| 指标 | 定义 | 典型值（现代GPU） | 设计权衡 |
|---|---|---|---|
| 带宽 | 单位时间内可传输的数据量 | HBM2e: 1.6 TB/s GDDR6: 800 GB/s |
带宽越高，功耗和成本越高 |
| 延迟 | 从发出请求到收到数据的时间 | L1: 20-30周期 显存: 400-800周期 |
延迟越低，设计复杂度越高 |
| 容量 | 可存储的数据总量 | HBM: 16-64 GB GDDR: 8-32 GB |
容量越大，芯片面积和成本越大 |
我曾经参与过一个HBM接口的设计项目。当时为了提升带宽，我们尝试了更高的时钟频率。结果发现，频率每提升10%，功耗就增加15%。最后我们选择了更宽的数据位宽，而不是更高的频率。这个经验告诉我：设计时一定要综合考虑。
设计技巧：我个人习惯在设计初期就建立带宽和延迟的预算模型。这样可以在架构层面提前发现瓶颈，避免后期返工。
为什么带宽这么重要？因为GPU是吞吐量优先的架构。你想想看，一个渲染任务可能需要处理几百万个三角形，每个三角形都要读取纹理数据。如果带宽不够，整个渲染管线就会卡住。
延迟方面，GPU和CPU的思路完全不同。CPU追求低延迟，所以有复杂的乱序执行和分支预测。GPU则通过大量线程来隐藏延迟。当一个线程在等数据时，另一个线程可以继续执行。这就是所谓的"延迟隐藏"技术。
避坑指南：我曾经在设计L2缓存时，过于追求命中率，把缓存做得很大。结果芯片面积超标，成本飙升。后来才明白：缓存不是越大越好，关键是要命中率与面积之间找到平衡点。
容量方面，显存容量决定了你能处理多大的数据集。比如训练大语言模型，显存不够就装不下模型参数。但容量增加会带来两个问题：一是芯片面积增大，二是访问延迟变长。
好了，这一章的内容就到这里。总结一下：GPU内存子系统是性能的关键，设计时要权衡带宽、延迟、容量三个指标。下一章我们会深入讲解L1缓存和共享内存的设计细节。
公众号:蓝海资料掘金营，微信deep3321