1. CPU与GPU的架构差异：理解CPU的“低延迟”设计哲学与GPU的“高吞吐”设计哲学

各位同学，欢迎来到《GPU编程：从CPU思维迁移》的第一课。

说实话，我见过太多从CPU转过来的开发者，上来就写GPU代码，结果性能惨不忍睹。为什么？因为他们还在用CPU的思维去思考问题。这就像让一个短跑冠军去参加马拉松——不是他不行，是设计哲学完全不同。

今天，我们就来聊聊CPU和GPU到底差在哪。

1.1 CPU的“低延迟”设计哲学

CPU的设计目标很明确：尽快完成单个任务。你想想看，你的操作系统、浏览器、编译器，这些程序都依赖CPU快速响应。CPU的设计师们为了降低延迟，可以说是绞尽脑汁。

具体怎么做呢？

• 大缓存：L1、L2、L3三级缓存，就是为了让数据离计算单元更近。我做过一个项目，CPU的L1缓存命中率从90%降到70%，性能直接腰斩。缓存对CPU来说就是命根子。
• 乱序执行：CPU会分析指令依赖，重新排列执行顺序。说白了，就是让执行单元别闲着。
• 分支预测：遇到if-else，CPU会猜哪条路更可能走。猜对了，流水线不中断；猜错了，那就得清空重来。
• 超高频率：现代CPU主频动辄3-5GHz，单核性能极其强悍。

但代价是什么？芯片面积有限，晶体管就那么多。你拿去搞缓存、搞分支预测、搞乱序执行，那计算单元的数量自然就少了。一个典型的CPU，可能只有4-16个核心。

1.2 GPU的“高吞吐”设计哲学

GPU的设计目标完全不同：同时处理大量任务。它不在乎单个任务多快完成，它在乎的是单位时间内能完成多少任务。

我刚开始接触GPU时，有个场景印象特别深。一个图像处理任务，CPU要处理一帧图像，需要遍历每个像素，循环里做各种计算。而GPU呢？它直接把每个像素分配给一个线程，几千个线程同时跑。CPU还在处理第100个像素时，GPU已经把整张图算完了。

GPU是怎么做到的？

• 大量计算单元：一个GPU可能有几千个CUDA核心。晶体管都用来堆计算单元了。
• 小缓存：GPU的缓存很小，因为不需要。它靠的是高带宽显存，一次性读取大量数据。
• 简单控制逻辑：GPU没有复杂的乱序执行和分支预测。每个核心都很“傻”，只会执行指令。
• SIMT执行模型：单指令多线程。32个线程组成一个warp，执行同一条指令。这就是GPU的并行基础。

1.3 从冯·诺依曼瓶颈看GPU的优势

冯·诺依曼架构有个著名的瓶颈：内存墙。CPU和内存之间的数据传输速度，远远跟不上CPU的计算速度。CPU经常处于“等数据”的状态。

为什么会这样？因为CPU的缓存虽然快，但容量有限。一旦数据不在缓存里，就得去主存拿。主存的速度比CPU慢了两个数量级。这就是为什么CPU花了那么多晶体管搞缓存——就是为了尽量少去主存。

但GPU的思路完全不同。

特性	CPU	GPU
核心数	4-16	数千
缓存大小	大（MB级）	小（KB级）
内存带宽	~50 GB/s	~900 GB/s
延迟容忍度	低	高
设计目标	低延迟	高吞吐

GPU的解决方案是：用并行掩盖延迟。当一个warp在等待数据时，GPU不会闲着，而是立刻切换到另一个warp执行。只要你有足够多的线程，GPU就能让计算单元一直忙碌。

嗯，这里要注意：GPU的高带宽显存，让它能一次性读取大量数据。虽然单次访问延迟比CPU缓存高，但带宽是CPU的十几倍。对于数据并行的任务，GPU的吞吐量优势是碾压级的。

1.4 什么时候用CPU，什么时候用GPU？

我个人的判断标准很简单：

• 用CPU：任务逻辑复杂、分支多、数据依赖强、数据量小。比如操作系统调度、数据库事务处理。
• 用GPU：任务逻辑简单、数据量大、可并行度高。比如图像处理、矩阵运算、深度学习训练。

说白了，CPU是“全能选手”，什么都能干，但一次只能干一件事。GPU是“专项选手”，只会干一件事，但一次能干一万件。

你想想看，如果你要处理一张4K图片，每个像素的计算都一样。CPU会一个一个像素处理，GPU会同时处理所有像素。哪个更快？不言而喻。

好了，这一章我们理解了CPU和GPU的设计哲学差异。下一章，我们会深入GPU的线程模型，看看它到底是怎么管理几千个线程的。

记住一句话：CPU追求低延迟，GPU追求高吞吐。这个思维转变，是你学好GPU编程的第一步。