2. 内存带宽概念精讲：带宽的定义、计算公式（频率×位宽）、理论峰值与实际带宽的差距

好，咱们进入正题。

内存带宽，说白了就是“内存能多快把数据喂给计算单元”。

你GPU再强，核心再多，如果内存堵住了，那全是白搭。我见过太多项目，调了半天kernel，结果瓶颈根本不在计算，而在带宽上。嗯，这就像你雇了一百个快递员，但仓库大门只开了一条缝——效率能高才怪。

2.1 带宽的定义：到底什么是“带宽”？

带宽，英文叫Bandwidth。简单理解，就是单位时间内，内存能传输的数据总量。

单位通常是：GB/s（吉字节每秒）。

举个例子：

  • 如果带宽是100 GB/s，意味着每秒能从内存搬100 GB的数据到GPU核心。
  • 注意，这里说的是“搬”，不是“算”。

我个人习惯把带宽想象成“水管粗细”。水管越粗，单位时间流过的水就越多。GPU核心就是用水的地方，内存就是水库。水管细了，水库再大也没用。

核心结论：带宽决定了数据搬运的速度，是GPU性能的“咽喉”。

2.2 计算公式：频率 × 位宽

带宽怎么算？公式很简单：

带宽 (GB/s) = 内存时钟频率 (MHz) × 内存位宽 (bit) / 8 / 1000

等等，别被公式吓到。我拆开讲：

  • 频率：内存的时钟速度，单位MHz。比如GDDR6常见的是1750 MHz、2000 MHz。注意，这里说的是“有效频率”，有些资料会写等效频率（比如DDR的等效频率是实际频率×2）。
  • 位宽：一次能传输多少位数据。比如一块显卡的显存位宽是256-bit，意思是一次能传256个比特。
  • 除以8：把比特转成字节（1字节=8比特）。
  • 除以1000：把MHz转成GHz，再把结果从MB/s转成GB/s。

举个例子：

一块显卡，显存频率1750 MHz，位宽256-bit。

带宽 = 1750 × 256 / 8 / 1000 = 56 GB/s

嗯，就是这么算的。

小技巧：我建议你把这个公式记在脑子里。面试、调优、看规格表，随时都能用。我曾经在项目评审时，随口算出一个方案的带宽瓶颈，直接把硬件团队问住了——他们以为我不会算这个。

2.3 理论峰值 vs 实际带宽：差距到底有多大？

理论峰值，就是上面公式算出来的那个数。但实际跑起来，永远达不到这个值。

为什么会这样？

原因有几个：

  1. 协议开销：内存传输不是纯数据，还有地址、控制信号、校验位。这些都要占用带宽。
  2. 访问模式：如果你的程序访问内存是“跳跃式”的（随机访问），那效率会大打折扣。连续访问才能跑满带宽。
  3. Bank冲突：内存内部有多个Bank，如果多个请求打到同一个Bank，就得排队。
  4. 刷新周期：DRAM需要定期刷新，刷新期间不能读写。

我实测过很多GPU，实际带宽通常只有理论峰值的 60% ~ 80%。有些优化得好的程序能到85%，但极少超过90%。

举个例子：

显卡型号 理论峰值 (GB/s) 实际带宽 (GB/s) 利用率
NVIDIA A100 1555 ~1200 ~77%
NVIDIA V100 900 ~700 ~78%
RTX 3090 936 ~750 ~80%

你看，实际能用的，大概就七八成。剩下的那两三成，就是各种开销吃掉的。

避坑指南：我曾经有个项目，按理论峰值算带宽够用，结果一跑就卡。查了半天，发现是内存访问模式不对，实际带宽只有理论值的40%。从那以后，我每次做性能预算，都按理论值的70%来估算——宁可多留余量，也别被理论值骗了。

2.4 怎么测实际带宽？

别猜，要测。

NVIDIA GPU可以用 bandwidthTest 这个工具，或者自己写个简单的kernel：

// 一个简单的带宽测试kernel
__global__ void bandwidth_test(float *in, float *out, int N) {
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx < N) {
        out[idx] = in[idx];  // 简单的拷贝
    }
}

跑这个kernel，记录时间，算一下数据量除以时间，就是实际带宽。

注意：要跑多次取平均，而且数据量要够大（至少几百MB），否则测不准。

我的习惯：每次调优前，先跑一遍带宽测试，看看当前硬件能跑多少。这样心里有底，知道天花板在哪。你想想看，如果实际带宽只有理论值的60%，那你再怎么优化代码，也不可能超过这个数——除非你换硬件。

2.5 小结

这一节，我们讲了：

  • 带宽的定义：数据搬运的速度。
  • 计算公式：频率 × 位宽 / 8 / 1000。
  • 理论峰值和实际带宽的差距：通常实际只有理论值的60%~80%。

记住一句话：理论是美好的，现实是骨感的。 做性能优化，永远以实测为准。

下一节，我会讲怎么用工具精准测量带宽，以及怎么分析带宽瓶颈到底在哪。嗯，到时候见。

← 上一章 📖 返回目录 下一章 →