4. 融合策略总览：水平融合、垂直融合、混合融合、跨边界融合

各位同学，今天我们来聊聊算子融合的四大策略。说实话，这四种策略就像工具箱里的四把扳手——各有各的用处，关键看你拧的是哪颗螺丝。

我在做编译器优化的头两年，其实一直搞混水平融合和垂直融合。后来有一次调优一个视频编解码的模型，被性能瓶颈逼得没办法，才真正把这几招吃透。今天我把这些经验掰开揉碎讲给你听。

4.1 水平融合（Horizontal Fusion）

水平融合，说白了就是把同一层级的、互不依赖的算子合并到一起。你想想看，如果两个算子处理的是同一份数据，却各自跑一遍内存读写，这不是浪费吗？

举个例子，假设你有两个卷积层，它们都从同一个特征图读取数据：

// 融合前
tensor A = conv1(input);   // 读一次input
tensor B = conv2(input);   // 又读一次input
tensor C = add(A, B);

// 融合后
tensor C = fused_conv1_conv2(input);  // 只读一次input

我遇到过的一个真实案例：某图像分割模型里，有四个并行的3x3卷积。融合前，每个卷积都要从全局内存读一遍输入特征图。融合后，数据只读一次，四个卷积的计算在同一个kernel里完成。性能提升了40%——嗯，你没看错，就这么简单粗暴。

4.2 垂直融合（Vertical Fusion）

垂直融合就更有意思了。它处理的是流水线上的算子——一个算子的输出是另一个算子的输入。这种融合，说白了就是把中间结果直接"管道"过去，省掉写回显存再读出来的开销。

我个人习惯把垂直融合叫做"接力赛"：第一棒跑完，直接把接力棒塞到第二棒手里，不用先放回观众席再拿起来。

// 融合前
tensor Y = relu(conv(X));   // conv输出写回显存，relu再读出来
tensor Z = batch_norm(Y);   // 又写又读

// 融合后
tensor Z = fused_conv_relu_bn(X);  // 全程在寄存器里完成

这里有个坑，我曾经踩过：垂直融合不是无脑把算子串起来就行。你得考虑数据类型的精度问题。比如conv输出是float32，但下一个算子要求int8，中间就得插一个量化节点。强行融合反而会出错。

4.3 混合融合（Hybrid Fusion）

混合融合，就是水平+垂直一起上。这招在复杂网络里特别常见。比如Transformer的Encoder层：

• 水平维度：多个注意力头可以水平融合
• 垂直维度：注意力→残差连接→LayerNorm可以垂直融合
• 混合效果：整个Encoder层变成一个巨大的融合kernel

我记得有一次优化BERT模型，纯用水平融合只提升了15%，纯用垂直融合提升了22%。但当我用混合融合把整个Encoder层揉成一个kernel时——性能直接翻倍。为什么？因为内存访问次数从原来的几十次降到了个位数。

4.4 跨边界融合（Cross-boundary Fusion）

跨边界融合，这招比较高级。它突破的是"算子边界"——把不同计算域、不同硬件单元的操作融合到一起。

举个例子，CPU和GPU之间的数据拷贝，或者GPU内部不同SM之间的数据交换。传统做法是：CPU算完→拷贝到GPU→GPU再算。跨边界融合就是把这个拷贝和计算过程合并，让数据在传输过程中就开始计算。

我曾经在FPGA上做过一个跨边界融合的案例：把图像预处理（CPU端）和卷积计算（FPGA端）融合成一个流水线。数据从摄像头进来，直接经过预处理逻辑，然后喂给卷积核——中间没有一次DDR读写。延迟从5ms降到了0.8ms。

4.5 四种策略对比

好了，四种策略都讲完了。我画了一张图帮你理清思路：

这张图把四种策略的适用场景和内部结构都画出来了。你仔细看看，水平融合是"并联变串联"，垂直融合是"串联变一体"，混合融合是"全图优化"，跨边界融合是"打破藩篱"。

最后说一句：实际项目中，这四种策略往往要组合使用。我建议你先从垂直融合入手——它最安全，收益也最稳定。等把垂直融合玩熟了，再尝试水平融合和混合融合。跨边界融合嘛...等你把前三招练到炉火纯青，自然就知道什么时候该用它了。