GPU核心参数详解：CUDA核心数、Tensor Core、显存带宽、显存容量、频率与功耗
好，咱们今天来聊聊GPU的那些核心参数。说实话，很多同学看显卡参数表，就像看天书一样。什么CUDA核心、Tensor Core、显存带宽……一堆数字堆在一起，根本不知道哪个重要。
我刚开始做深度学习那会儿，也踩过不少坑。记得有一次，我选了一块CUDA核心数特别多的卡，结果跑起Transformer模型来，速度还不如隔壁同事那块核心少但显存带宽高的卡。嗯，这里面的门道，我今天一次性给你讲透。
一、CUDA核心数：并行计算的“工人”数量
CUDA核心，说白了就是GPU里干活的“小工人”。每个核心都能独立执行计算任务。你想想看，一个GPU里有几千个这样的工人，同时干活，那速度能不快吗？
但这里有个误区——不是核心越多，性能就一定越好。为什么？因为还要看这些核心能不能被充分利用。
核心要点：CUDA核心数决定了GPU的并行计算能力。对于可以高度并行的任务（如图像处理、矩阵运算），核心越多优势越明显。但对于串行任务，核心再多也没用。
我个人习惯这样看：如果你的模型以卷积层为主（比如ResNet、VGG），那CUDA核心数越多越好。但如果是Transformer这类模型，核心数的影响就没那么大了。
实战建议：选卡时，别光看核心数。要结合你的模型类型来选。我见过有人花大价钱买了RTX 4090，结果跑小模型时，核心利用率不到30%，纯属浪费。
二、Tensor Core：AI计算的“特种兵”
Tensor Core是NVIDIA从Volta架构开始引入的专用计算单元。它专门为矩阵运算而生，尤其是混合精度训练（FP16 + FP32）。
你可以把CUDA核心想象成普通工人，而Tensor Core就是特种兵。普通工人一次只能处理一个任务，但特种兵一次能处理一组任务。效率完全不在一个量级。
| 架构 | Tensor Core代数 | 支持精度 | 性能提升（相对上一代） |
|---|---|---|---|
| Volta (V100) | 第一代 | FP16 | 约3x |
| Turing (T4/RTX 20系列) | 第二代 | FP16/INT8 | 约2x |
| Ampere (A100/RTX 30系列) | 第三代 | FP16/BF16/TF32/INT8 | 约2.5x |
| Hopper (H100) | 第四代 | FP8/FP16/BF16/TF32 | 约3x |
我曾经在一个项目里，用V100跑BERT-large模型，混合精度训练比单精度快了将近4倍。这就是Tensor Core的威力。所以，如果你做Transformer、LLM这类模型，Tensor Core的代数比CUDA核心数更重要。
注意：Tensor Core需要配合混合精度训练才能发挥威力。如果你只用FP32，那Tensor Core基本是闲置的。记得在代码里加上 torch.cuda.amp 或者 mixed_precision。
三、显存带宽：数据搬运的“高速公路”
显存带宽，说白了就是GPU从显存里读取数据的速度。单位是GB/s。这个参数经常被忽视，但实际影响非常大。
你想想看，GPU计算再快，如果数据搬不过来，那也只能干等着。这就是所谓的“内存墙”问题。
我举个例子：RTX 3090的显存带宽是936 GB/s，而RTX 4090是1008 GB/s。看起来差距不大，对吧？但如果你跑的是大模型，batch size设得很大，那带宽的差距就会直接体现在训练速度上。
计算公式：显存带宽 = 显存频率 × 显存位宽 × 2（GDDR6/6X）/ 8
比如：RTX 4090的显存频率是21 Gbps，位宽是384-bit，那么带宽 = 21 × 384 × 2 / 8 = 2016 GB/s？不对，这里要注意，实际带宽还要考虑显存控制器效率。一般实际带宽是理论值的90%-95%。
我个人建议：如果你的模型需要频繁读取大量数据（比如视频理解、3D重建），优先选带宽高的卡。带宽不够，核心再多也是白搭。
四、显存容量：能装下多大的模型
显存容量，这个最好理解。就是GPU能装下多大的模型和batch size。
但这里有个常见的坑：很多人以为显存越大越好。其实不然。显存够用就行，多了就是浪费钱。
怎么判断显存够不够？我一般这样估算：
- 模型参数占用的显存：参数数量 × 精度字节数（FP32是4字节，FP16是2字节）
- 优化器状态：Adam优化器需要额外2倍参数量的显存
- 中间激活值：这个跟batch size和模型深度有关，一般占大头
- batch size：每增加一倍，显存占用也增加一倍
实战技巧：我一般先用小batch size跑一次，看显存占用。然后估算出最大能跑的batch size。比如显存占用是8GB，总显存是24GB，那理论上batch size可以放大3倍。但实际要留10%-20%的余量，防止OOM。
我曾经在项目里，用A100 80GB跑一个70B的LLM，结果发现80GB根本不够。后来用了模型并行和梯度检查点技术，才勉强塞进去。所以，显存容量决定了你能跑多大的模型，但也要配合技术手段来用。
五、频率与功耗：性能与发热的平衡
GPU的核心频率和显存频率，决定了计算和搬运数据的速度。但频率越高，功耗越大，发热也越严重。
这里有个概念叫“频率-电压曲线”。简单说，频率越高，需要的电压也越高，功耗呈指数级增长。
| GPU型号 | 基础频率 | Boost频率 | TDP（功耗） | 建议电源 |
|---|---|---|---|---|
| RTX 3060 | 1320 MHz | 1777 MHz | 170W | 550W |
| RTX 3080 | 1440 MHz | 1710 MHz | 320W | 750W |
| RTX 4090 | 2235 MHz | 2520 MHz | 450W | 1000W |
| A100 | 765 MHz | 1410 MHz | 400W | 双电源冗余 |
嗯，这里要注意：功耗不是越高越好。高功耗意味着高发热，高发热会导致降频，降频又会导致性能下降。这是个恶性循环。
我建议：选卡时，优先考虑能效比（性能/功耗）。比如RTX 4090的能效比就比RTX 3090高很多。同样的功耗下，4090能跑出更多的计算量。
避坑指南：我曾经为了追求极致性能，把RTX 3080超频到冒烟。结果跑了一个月，核心频率就掉了100MHz。从那以后，我再也不超频了。老老实实用默认频率，稳定才是王道。
六、综合选型建议
好了，六个核心参数都讲完了。那到底怎么选？我总结一下：
- 看模型类型：CNN为主 → 优先CUDA核心数；Transformer为主 → 优先Tensor Core代数和显存带宽
- 看模型大小：小模型（<1B参数）→ 24GB显存够用；大模型（>10B参数）→ 至少80GB，最好用H100
- 看预算：预算有限 → 选能效比高的卡（如RTX 4090）；预算充足 → 直接上H100或A100
- 看散热：多卡集群 → 优先涡轮散热；单卡 → 优先三风扇
最后说一句：没有最好的卡，只有最适合你的卡。别盲目追求参数，先搞清楚自己的需求。嗯，今天就聊到这儿，下节课我们讲讲怎么用这些参数来评估实际性能。