1. 算子优化概述：什么是算子优化、为什么需要算子优化、算子优化的核心目标

大家好，欢迎来到这门课。我是你们这部分的讲师，一个在模型部署和算子优化坑里摸爬滚打了好几年的工程师。

咱们直接开门见山。今天聊的是整个课程的基础——算子优化。说白了，就是让模型里的每一个小运算单元跑得更快、更省地儿、更准。

1.1 什么是算子优化？

先说说算子是什么。你想想看，一个深度学习模型，不管多复杂，拆开来看，无非就是卷积、矩阵乘、激活函数、归一化这些基本操作。这些基本操作，我们就叫它算子。

那算子优化呢？就是针对这些算子，在特定的硬件上（比如GPU、NPU、CPU），把它的实现方式改一改，让它跑得更快，或者占更少显存。

举个例子。一个普通的矩阵乘法，你用PyTorch直接写，它可能调用了cuBLAS库。但cuBLAS是通用库，它要考虑所有情况。而你的模型里，这个矩阵乘法的形状是固定的，比如[1, 256, 64]乘[64, 128]。这时候，我就可以写一个专门针对这种形状的核函数，把循环展开、把数据排布优化一下。嗯，这就是算子优化。

1.2 为什么需要算子优化？

你可能会问，框架不是帮我们做好了吗？为什么还要自己折腾？

我刚开始做部署的时候也这么想。直到有一次，我把一个训练好的模型直接转成TensorRT，一跑，发现延迟比预期高了30%。查了半天，发现是某个自定义的激活函数没有被TensorRT识别，落到了CPU上执行。那性能，惨不忍睹。

从那以后我就明白了，算子优化不是锦上添花，而是刚需。原因有三：

• 硬件利用率低：通用库为了兼容性，往往牺牲了极致性能。你想想看，GPU有几千个核心，如果算子实现不好，可能只有一半的核心在干活，另一半在干等。
• 模型结构特殊：现在的模型越来越花哨，什么分组卷积、动态卷积、稀疏注意力。框架自带的算子库，很多时候压根就没有对应的实现。这时候，你不自己优化，就只能用一堆基础算子拼凑，性能可想而知。
• 部署环境受限：边缘设备、手机芯片，算力和显存都有限。一个没优化的算子，可能直接让整个应用卡顿甚至崩溃。我记得有一次在嵌入式设备上部署，一个简单的Softmax算子，因为数值溢出，直接导致推理结果全错。

1.3 算子优化的核心目标

算子优化，说白了就是三个目标：加速、省显存、保精度。但这三个目标，有时候是互相打架的。

1.3.1 加速

这是最直观的目标。让算子跑得更快，延迟更低。怎么加速？

• 减少计算量：比如用Winograd算法加速卷积，或者用FFT加速大尺寸卷积。
• 提高并行度：让GPU的每个线程都忙起来，减少线程束发散。
• 优化访存：把数据排布成连续的内存，利用缓存局部性。我个人习惯，写算子之前，先画个数据流图，看看数据是怎么在内存里搬来搬去的。

举个例子，一个简单的ReLU算子，如果逐元素操作，访存效率很低。但如果你把它和前面的卷积融合在一起，数据刚从显存取出来，算完卷积直接过ReLU，就不用再写回显存再读一次。这一来一回，速度能快不少。

1.3.2 显存

显存是部署时的硬约束。尤其是大模型，动不动几十个G，显存不够，模型根本跑不起来。

算子优化怎么省显存？

• 算子融合：把多个算子合并成一个，减少中间结果的存储。比如Conv + BN + ReLU融合，中间就不需要保存BN的中间特征图了。
• 重计算：有些中间结果，用的时候再算一遍，而不是一直存着。这在训练时很常见，推理时用得少，但某些场景下也有用。
• 量化：把FP32的权重和激活值，变成INT8甚至INT4。显存直接砍半甚至砍到四分之一。

1.3.3 精度

这是底线。加速和省显存，都不能以牺牲精度为代价。但现实是，很多优化手段都会引入精度损失。

比如量化，从FP32到INT8，精度损失是必然的。关键是怎么把损失控制在可接受范围内。我见过一些项目，为了追求极致速度，把模型量化到INT4，结果精度掉了5个点，业务方直接不干了。

再比如算子融合，如果融合的数学等价性没处理好，比如Conv + BN融合时，BN的均值和方差是训练时统计的，推理时用的是固定的。如果融合时把BN的缩放因子算错了，那精度就偏了。

优化手段	加速效果	显存节省	精度影响
算子融合	高	中	低（需验证等价性）
量化（FP32→INT8）	高	高	中（需校准）
重计算	低（增加计算）	高	无
Winograd卷积	中	低	低（数值稳定性需注意）

所以，算子优化的核心目标，其实是在加速和省显存之间找一个平衡点，同时守住精度的底线。说白了，就是带着镣铐跳舞。

好了，这一章就到这里。下一章，我会带大家看看，一个算子从框架调用到硬件执行，中间到底经历了什么。理解了那个过程，你才能真正明白，优化的空间在哪里。