算子融合原理：从理论到实践的深度解析
算子融合这个话题，我在做推理引擎优化时几乎天天打交道。说白了，它就是让多个连续的计算操作合并成一个，减少中间数据的搬运和存储。你想想看，GPU处理数据就像工厂流水线，每个算子都是一道工序。如果每道工序都让产品回库房再拿出来，效率肯定上不去。
今天我就把算子融合的动机、数学基础，还有最常见的几种融合模式，掰开揉碎了讲清楚。
为什么需要算子融合？
先说说动机。我刚开始做模型部署时，遇到过这样一个问题：一个简单的Conv+BN+ReLU，在GPU上跑出了让我抓狂的延迟。明明计算量不大，为什么这么慢？
原因其实很简单——内存带宽成了瓶颈。每个算子的输出都要写回显存，下一个算子再读进来。一次读写就是一次全局内存访问，而全局内存的延迟比计算本身高出一个数量级。
核心痛点：
- 访存开销：每多一个算子，就多一次写+一次读
- kernel启动开销：每个算子对应一个CUDA kernel，启动有固定开销
- 计算利用率低：小算子无法充分利用GPU的并行能力
我记得有一次优化一个ResNet-50模型，光是把Conv+BN+ReLU融合，推理速度就提升了30%以上。这就是融合的魅力——减少访存，提升计算密度。
融合的数学基础
算子融合不是随便把两个操作拼在一起。它背后有严格的数学条件——线性变换的可组合性。
举个例子，Conv本质是线性变换：y = W * x + b。BN在推理阶段也是线性变换：z = γ * (y - μ) / σ + β。两个线性变换组合起来，还是线性变换：
z = γ * (W * x + b - μ) / σ + β
= (γ * W / σ) * x + (γ * (b - μ) / σ + β)
= W' * x + b'你看，融合后的权重W'和偏置b'可以提前算好。推理时只需要执行一次卷积，省掉了BN的全部计算和访存。
个人经验：我建议你在做融合前，先检查算子是否满足线性可组合条件。ReLU这种非线性激活函数，只能跟它前面的线性算子融合，不能跟后面的融合。这个顺序搞反了，结果就错了。
常见融合模式详解
1. Conv + BN 融合
这是最经典、收益最明显的融合模式。我在项目中几乎每个CNN模型都会做这一步。
融合步骤：
- 从BN层拿到γ, β, μ, σ四个参数
- 计算融合后的权重：
W_fused = W * γ / σ - 计算融合后的偏置：
b_fused = (b - μ) * γ / σ + β - 用新的权重和偏置替换Conv+BN
// 伪代码示例
void fuse_conv_bn(ConvLayer& conv, BatchNormLayer& bn) {
float gamma = bn.gamma;
float beta = bn.beta;
float mean = bn.running_mean;
float var = bn.running_var;
float eps = bn.eps;
float scale = gamma / sqrt(var + eps);
// 融合权重
for (int i = 0; i < conv.weight.size(); i++) {
conv.weight[i] *= scale;
}
// 融合偏置
for (int i = 0; i < conv.bias.size(); i++) {
conv.bias[i] = (conv.bias[i] - mean[i]) * scale + beta[i];
}
}我曾经踩过的坑：BN在训练和推理时的行为不同。训练时用的是batch的均值和方差，推理时用的是running_mean和running_var。如果你在推理时用了训练模式下的参数，结果会完全不对。一定要确认模型已经切换到eval模式。
2. Conv + ReLU 融合
这个融合更直接。ReLU就是max(0, x)，在卷积计算完成后，直接对输出做截断。不需要额外的kernel启动。
实现上，就是在卷积的CUDA kernel里，最后一步加上：
// 卷积输出计算完成后
output[idx] = max(0.0f, output[idx]);就这么一行代码，省掉了一次全局内存写和一次读。我算过，对于小尺寸feature map，这个融合能带来15-20%的性能提升。
3. MatMul + Add 融合
这个在Transformer里特别常见。全连接层其实就是MatMul + Bias Add。很多框架把这两个操作分开实现，但融合后能减少一次访存。
数学上很简单：
// 原始
y = W * x + b
// 融合后，直接在矩阵乘法的累加器里加上偏置
for (int i = 0; i < M; i++) {
float sum = 0.0f;
for (int j = 0; j < K; j++) {
sum += W[i][j] * x[j];
}
y[i] = sum + b[i]; // 一步到位
}性能对比（实测数据）：
| 融合模式 | 未融合延迟(ms) | 融合后延迟(ms) | 提升比例 |
|---|---|---|---|
| Conv+BN | 2.35 | 1.68 | 28.5% |
| Conv+ReLU | 1.92 | 1.55 | 19.3% |
| MatMul+Add | 3.10 | 2.74 | 11.6% |
融合的完整流程
下面这张图展示了算子融合的完整流程，从原始计算图到融合后的计算图：
从图中可以看到，三个独立的算子被合并成一个。中间的数据不再需要写回全局内存，直接在寄存器或共享内存中传递。这就是性能提升的核心来源。
融合的注意事项
做算子融合时，有几个地方需要特别留意：
- 精度问题：融合后的计算顺序变了，浮点运算的舍入误差可能不同。我遇到过融合后精度下降0.1%的情况，虽然不多，但如果你做的是医疗影像或金融模型，这个误差可能不可接受。
- 量化模型：如果模型已经做了INT8量化，融合时要特别小心。量化参数（scale和zero_point）也需要融合，不能简单套用浮点版本的公式。
- 动态形状：有些模型的输入尺寸会变化，比如NLP里的变长序列。融合后的权重是固定的，但BN的均值和方差如果依赖于输入尺寸，就不能简单融合。这种情况我建议用条件融合——只在输入尺寸固定时才做。
我的建议：刚开始做算子融合时，先挑Conv+BN这种最成熟的模式练手。等把整个流程跑通了，再尝试更复杂的融合，比如Conv+BN+ReLU三合一，或者Multi-Head Attention里的QKV融合。一步一步来，别想一口吃成胖子。
算子融合是推理引擎优化的基本功。它不改变模型的数学本质，只是改变了计算的执行方式。说白了，就是用编译时的计算换运行时的效率。这个思路在推理引擎里随处可见，理解了融合，你就掌握了优化的第一把钥匙。