一、算子优化概述：定义、目标与核心挑战
好，咱们正式开始这门课。第一讲，我想聊聊算子优化的“全景图”。
很多人一上来就扎进 CUDA 汇编或者 TVM 的调度里，结果越学越懵。为什么？因为没搞清楚“我们到底在优化什么”。
我个人习惯，先看全局，再抠细节。所以这一节，咱们先把算子优化的定义、目标和那些绕不开的挑战讲清楚。
1.1 算子优化的定义：到底在优化什么？
先问个问题：什么是算子？
说白了，算子就是神经网络里的一个计算单元。比如卷积（Conv2D）、矩阵乘（MatMul）、激活函数（ReLU）、归一化（LayerNorm）……这些都是算子。
那算子优化呢？
定义：在给定硬件（GPU、CPU、NPU）上，通过调整算子的计算方式、内存访问模式、并行策略等，让它的执行速度更快、显存占用更少、或者功耗更低。
嗯，这里要注意：优化不是改算法本身（比如把卷积换成注意力机制），那叫模型架构创新。算子优化是在算法不变的前提下，把它的底层实现“榨干”。
核心观点：算子优化 = 在硬件约束下，寻找计算与存储的最优映射。
我在项目中遇到过不少同学，把“算子优化”和“模型剪枝”搞混。剪枝是减少计算量，优化是让剩下的计算跑得更快。两码事。
1.2 优化目标：我们追求什么？
算子优化的目标，通常有三个维度。我习惯用一个三角模型来理解：
| 维度 | 目标 | 通俗解释 |
|---|---|---|
| 延迟（Latency） | 让算子跑得更快 | 同样的输入，毫秒级出结果 |
| 吞吐（Throughput） | 单位时间处理更多数据 | 一秒能跑多少个 batch |
| 显存（Memory） | 占用更少显存 | 别动不动就 OOM |
你想想看，这三个目标有时候是冲突的。比如为了降低延迟，你可能需要把数据全部加载到显存里，结果显存爆了。这就是典型的 trade-off。
我个人经验：在实际部署中，优先满足延迟要求，再优化显存。因为用户等不了，但显存可以靠模型并行来分摊。当然，如果你做的是端侧部署，那显存和功耗就是第一优先级了。
避坑指南：我曾经在一个项目中，为了把延迟降低 5%，把显存占用翻了一倍。结果模型在 8GB 的卡上跑不了，只能换 16GB 的卡，成本直接翻倍。后来我学乖了：优化前先定好“资源预算”。
1.3 核心挑战：为什么这么难？
算子优化听起来简单，做起来难。难在哪？我总结了三个核心挑战：
挑战一：硬件多样性
同一个算子，在 NVIDIA GPU、AMD GPU、华为昇腾、寒武纪 NPU 上的最优实现完全不同。
举个例子：
- 在 A100 上，你可能要用 Tensor Core 做矩阵乘，利用它的 WMMA API。
- 在昇腾 910 上，你得用它的 Cube 单元，调度方式完全不一样。
- 在手机芯片上，你可能得用 Qualcomm 的 Hexagon DSP。
说白了，没有“一次优化，到处通用”的好事。每个硬件都有自己的“脾气”。
挑战二：算子多样性
现在的模型里，算子种类越来越多。从早期的 Conv、ReLU、Pooling，到现在的 Attention、LayerNorm、GELU、FlashAttention……
每个算子的计算特征都不一样：
- Conv 是计算密集型，瓶颈在算力。
- LayerNorm 是访存密集型，瓶颈在带宽。
- Attention 里的 Softmax 是两者都有。
你没法用一套优化策略打天下。我见过有人把优化 Conv 的那套方法直接套在 LayerNorm 上，结果性能反而下降了 30%。
挑战三：编译器与手写优化的博弈
现在有很多编译器，比如 TVM、XLA、Triton，它们能自动帮你做算子优化。但问题是：
- 编译器生成的代码，往往不如手写 CUDA 极致。
- 手写 CUDA 又太费时间，而且可移植性差。
怎么选？
我的建议是：
- 对于通用算子（Conv、MatMul），用编译器自动调优就够了。
- 对于特殊算子（比如 FlashAttention 这种），必须手写。
- 对于性能瓶颈算子（比如模型里最慢的那一个），值得手写优化。
警告：不要一上来就手写 CUDA。先跑 profiler，找到真正的瓶颈。我曾经花了三天手写了一个算子，结果发现它只占整个模型 2% 的时间……白干了。
1.4 一个简单的例子：矩阵乘的优化思路
为了让你更直观地理解，咱们看一个最简单的例子：矩阵乘（MatMul）。
假设我们要计算 C = A × B，其中 A 是 M×K，B 是 K×N。
最朴素的实现是三重循环：
for i in range(M):
for j in range(N):
for k in range(K):
C[i][j] += A[i][k] * B[k][j]这个实现，在 GPU 上跑，性能惨不忍睹。为什么？
- 内存访问不连续：B 是按列访问的，但内存里是按行存的。
- 没有利用共享内存：每次计算都从全局内存读数据，延迟巨大。
- 没有利用向量化：一次只算一个元素，浪费了 SIMT 的能力。
优化的思路是什么？
- 分块（Tiling）：把大矩阵切成小块，让小块数据能放进共享内存。
- 内存合并（Coalescing）：让线程访问连续的内存地址。
- 向量化加载：一次加载 4 个 float，用 float4 类型。
- 流水线（Pipeline）：计算和内存加载重叠，隐藏延迟。
嗯，这些概念后面会详细讲。这里你只需要记住：算子优化的本质，就是让计算单元尽量不闲着，让内存带宽尽量不浪费。
1.5 小结
这一节，我们聊了：
- 算子优化的定义：在硬件约束下，寻找计算与存储的最优映射。
- 三个目标：延迟、吞吐、显存，它们之间需要权衡。
- 三个挑战：硬件多样性、算子多样性、编译器与手写优化的博弈。
下一节，我们会深入 GPU 的硬件架构，看看那些“计算单元”和“存储层次”到底长什么样。只有理解了硬件，你才知道优化该往哪个方向使劲。
好，今天就到这儿。记住：优化不是炫技，是解决问题。