GPU计算概述：从图形卡到计算巨兽的进化之路

大家好，我是你们这门课的老朋友。今天咱们聊聊GPU计算的基础——说白了，就是搞清楚GPU到底是个什么东西，它凭什么能跑得这么快。

我入行那会儿，GPU还只是用来打游戏的。谁能想到，十几年后它成了AI训练的标配？嗯，这背后的故事，值得好好说道说道。

GPU发展简史：从渲染管线到通用计算

GPU的发展，我习惯把它分成三个阶段：

• 固定功能管线时代（1990s-2000s）：早期的GPU，比如NVIDIA的GeForce 256，只能干一件事——图形渲染。它的管线是固定的，你没法编程。说白了，就是个高速的“画图机器”。
• 可编程着色器时代（2001-2006）：这时候GPU开始支持顶点着色器和像素着色器。我记得第一次在GPU上跑自定义的着色程序时，那种感觉就像打开了新世界的大门。开发者终于能控制渲染的细节了。
• 通用计算时代（2007至今）：NVIDIA在2007年推出了CUDA架构。这玩意儿彻底改变了游戏规则。GPU不再只是图形卡，它变成了一个可以处理任意并行计算任务的“加速器”。

GPU vs CPU架构对比：一个像跑车，一个像卡车

你想想看，CPU和GPU的设计哲学完全不同。我经常用这个比喻：

• CPU：像一辆法拉利跑车。它追求极致的单线程性能，有复杂的控制单元、大容量的缓存、强大的分支预测。适合处理复杂的、串行的任务。
• GPU：像一辆重型卡车。它追求极致的吞吐量，有成千上万个简单的计算核心。适合处理简单的、并行的任务。

来看个具体的对比表格：

特性	CPU	GPU
核心数量	4-16个（高性能）	数千个（如RTX 4090有16384个）
控制单元	复杂（分支预测、乱序执行）	简单（主要做调度）
缓存	大（L1/L2/L3，几十MB）	小（L1/L2，几MB）
内存带宽	50-100 GB/s	1000+ GB/s（HBM2e/3）
设计目标	低延迟，单线程性能	高吞吐，并行计算

GPU应用场景：不止是游戏和AI

很多人以为GPU只用来打游戏和训练AI。其实它的应用范围广着呢。我简单列几个：

• 图形渲染：这是GPU的老本行。从3D游戏到电影特效，从CAD设计到VR/AR，都离不开GPU。说白了，没有GPU，你看到的《阿凡达》可能还在用算盘渲染。
• 科学计算：分子动力学模拟、气象预报、石油勘探、天体物理……这些领域需要处理海量数据。GPU的并行能力正好派上用场。我记得有一次帮一个气象团队优化代码，把原本要跑一周的模拟缩短到了8小时。
• AI训练：这是目前最火的应用。深度学习本质上就是大量的矩阵乘法。GPU的矩阵运算单元（Tensor Core）就是为这个量身定做的。从ResNet到GPT，没有GPU，AI的进步至少要慢十年。
• 其他领域：金融风控（蒙特卡洛模拟）、生物信息学（基因测序）、视频编解码……GPU正在渗透到每一个需要高性能计算的角落。

GPU加速的本质：并行计算

好了，到了最关键的问题：GPU加速的本质到底是什么？

答案很简单，就四个字：并行计算。

但这里有个坑——不是所有问题都能并行化。你想想看，如果一个问题必须串行执行（比如计算斐波那契数列的第N项），那GPU再强也没用。

GPU加速的核心思想是：

1. 数据并行：把一个大任务拆分成成千上万个独立的小任务。每个小任务在GPU的一个核心上执行。
2. SIMT（单指令多线程）：GPU的架构是SIMT的。意思是，32个线程组成一个线程束（warp），它们执行同一条指令，但处理不同的数据。这有点像军训——教官喊“向左转”，所有人一起向左转，但每个人站的位置不同。
3. 隐藏延迟：GPU通过快速切换线程来隐藏内存访问的延迟。当一个线程在等数据时，GPU立刻切换到另一个线程执行。这就像餐厅里的厨师——一个菜在锅里炖着，他转身去切另一个菜。

嗯，这里要注意一点：GPU的并行不是“免费的午餐”。你需要考虑数据传输的开销。把数据从CPU内存搬到GPU显存，这个操作本身就很耗时。我见过太多人，写了个并行算法，结果数据传输时间比计算时间还长——那就得不偿失了。

最后，我想说一句：GPU加速的本质，就是用空间换时间，用更多的计算单元来换取更快的执行速度。但前提是，你的问题必须适合并行化。否则，再好的GPU也只是个昂贵的电暖器。

下一章，我们会深入CUDA编程模型，手把手教你写第一个GPU程序。到时候，你会真正体会到“并行”的魅力。