Warp与Wavefront：NVIDIA与AMD的线程调度单元

聊到GPU的线程调度，绕不开两个核心概念：Warp和Wavefront。

说白了，这就是NVIDIA和AMD对SIMT模型的具体实现。我当年刚接触GPU编程时，也搞不清这两者到底有啥区别。后来在调优一个大规模并行计算任务时，才真正体会到它们的差异对性能的影响有多大。

SIMT模型的本质

先说说SIMT。全称是Single Instruction, Multiple Threads。

你想想看，GPU里有几千个核心，如果每个核心都独立取指令、译码、执行，那指令缓存和调度逻辑得有多复杂？所以GPU采用了另一种思路：一组线程共享一条指令流。

这就是SIMT的核心——多个线程执行同一条指令，但操作不同的数据。

我习惯把SIMT理解成「伪装成多线程的SIMD」。硬件给你一个假象：每个线程都是独立的。但实际上，它们被捆绑成一组，共享指令流。

NVIDIA的Warp

NVIDIA把32个线程捆绑成一个Warp。

为什么是32？这不是拍脑袋定的。我在做架构分析时发现，32这个数字是权衡了调度开销、寄存器压力和内存带宽后的结果。

属性	Warp (NVIDIA)
线程数	32
调度粒度	Warp级别
SIMD宽度	32 (CUDA Core)
寄存器分配	以Warp为单位

每个Warp内的32个线程，在同一个周期内执行同一条指令。如果遇到分支，那就麻烦了——Warp内出现分支分歧时，硬件会串行执行所有分支路径。

AMD的Wavefront

AMD用的是Wavefront，一组64个线程。

嗯，这里要注意：AMD的Wavefront比NVIDIA的Warp大一倍。这意味着什么？

• 指令发射效率更高：一次指令发射驱动64个线程，指令带宽利用率更高
• 分支代价更大：64个线程出现分支分歧时，串行执行的路径更多
• 寄存器压力更大：每个Wavefront需要更多的寄存器来保存线程上下文

属性	Wavefront (AMD)
线程数	64
调度粒度	Wavefront级别
SIMD宽度	64 (Stream Core)
分支处理	执行掩码 (Exec Mask)

AMD用了一种叫「执行掩码」的机制来处理分支。每个线程有一个位，表示它是否应该执行当前指令。分支路径切换时，硬件更新掩码。

Warp vs Wavefront：实战对比

我整理了一个对比表，方便你快速理解两者的差异：

对比维度	Warp (32线程)	Wavefront (64线程)
指令发射开销	较低	更低（一次驱动更多线程）
分支分歧代价	较小（32线程串行）	较大（64线程串行）
寄存器压力	较小	较大
调度灵活性	更高（更多Warp可供切换）	较低（Wavefront数量少）
内存带宽利用	32线程对齐访问	64线程对齐访问

你可能会问：哪个更好？

说实话，没有绝对的好坏。NVIDIA的Warp在分支密集的场景下更有优势，因为32个线程串行的代价比64个线程小。AMD的Wavefront在计算密集、分支少的场景下更高效，因为指令发射效率更高。

SIMT模型的本质：再深入一点

回到最初的问题：SIMT模型的本质是什么？

我个人理解，SIMT的本质是用硬件复杂度换取编程简易性。

• 对程序员：你写的是普通的标量代码，不用操心向量化。硬件帮你把线程分组、调度、执行。
• 对硬件：它把线程组织成Warp/Wavefront，共享指令获取和译码逻辑，节省面积和功耗。
• 对性能：通过大量线程的切换来隐藏内存延迟。一个Warp在等数据，另一个Warp立刻顶上。

我记得有一次调试一个内存密集型应用，发现GPU的利用率只有30%。后来一查，原来是Warp数量太少，无法隐藏内存延迟。增加线程块数量后，利用率直接飙到90%以上。

这就是SIMT的精髓——用线程数量换延迟隐藏。

总结

Warp和Wavefront是SIMT模型的两个具体实现。32还是64，各有优劣。但不管哪种，核心思想是一样的：

1. 把线程捆绑成组，共享指令流
2. 用大量线程切换隐藏延迟
3. 让程序员写标量代码，硬件做向量化

下次写CUDA或OpenCL代码时，记住你写的每个线程都不是孤独的。它和另外31个（或63个）兄弟绑在一起，同生共死。分支分歧？那是它们最大的敌人。