第1章图优化技术概述

一、图优化技术概述：计算图、优化目标与编译器层级

大家好，我是这门课的主讲人。今天咱们聊聊图优化技术的基础概念。

说实话，我刚接触神经网络编译器那会儿，也被各种术语绕得头晕。什么计算图、数据流图、控制流图……但后来我发现，搞懂这些其实没那么难。你想想看，编译器本质上就是个翻译官，把高级语言翻译成机器能懂的指令。而图优化，就是让这个翻译过程更聪明、更高效。

计算图，说白了就是神经网络的结构化表示。它用节点和边来描述整个计算过程。

举个例子，一个简单的两层神经网络：

输入 → 卷积 → ReLU → 池化 → 全连接 → Softmax → 输出

在计算图里，每个箭头都是一个操作节点，数据沿着边流动。嗯，这里要注意，计算图是有向无环图（DAG），不能有循环依赖。

核心要点：计算图是编译器理解神经网络的基础。没有它，编译器就是个瞎子。

我在项目中遇到过一种情况：模型在训练时跑得好好的，但部署到推理引擎上就报错。查了半天，发现是计算图里有个节点类型不被支持。从那以后，我养成了一个习惯——先可视化计算图，看看有没有奇怪的节点。

图优化到底想干嘛？说白了就三个目标：

目标	说明	我踩过的坑
减少计算量	合并冗余操作，消除无用节点	曾经有个模型，光reshape操作就占了20%的节点，合并后速度提升30%
降低内存占用	优化数据布局，减少中间结果	有一次内存爆了，发现是某个中间张量没及时释放
提升硬件利用率	让计算更适配硬件特性	GPU上连续内存访问比随机访问快10倍以上

你可能会问：这些优化真的有必要吗？我告诉你，非常有必要。一个未经优化的计算图，可能包含大量冗余操作。比如连续的reshape、transpose，或者可以合并的卷积+BN层。这些操作在数学上没问题，但在执行时就是浪费。

个人经验：我建议你在做图优化之前，先跑一次性能分析。看看哪些节点耗时最长，哪些内存占用最大。这样优化起来才有针对性。

编译器里的图优化，不是一蹴而就的。它分好几个层级，每个层级关注的点不一样。我个人习惯把优化分成三层：

这里我画了一张图，帮你理解这三层的关系：

这三层优化是串行执行的。前端优化完，交给中端，中端优化完，再交给后端。每一层都依赖上一层的结果。

注意：我曾经犯过一个错误——在前端优化阶段做了太多硬件相关的假设。结果换了个硬件平台，优化全废了。记住，前端优化应该保持硬件无关性。

说了这么多理论，咱们来看看实际中常用的图优化技术：

举个例子，假设你有这么一段计算图：

a = conv(x, w)
b = bn(a)
c = relu(b)
d = conv(c, w2)
e = bn(d)
f = relu(e)

经过算子融合后，可以变成：

a = fused_conv_bn_relu(x, w)
b = fused_conv_bn_relu(a, w2)

你看，节点数从6个减少到2个，内存访问次数也大幅降低。

避坑指南：我曾经把两个不兼容的算子强行融合，结果精度掉了2个点。后来我才明白，不是所有算子都能随便融合的。融合前一定要检查数值精度和语义等价性。

图优化听起来很美好，但实际做起来有不少坑：

我记得有一次，一个模型在优化后推理结果全错了。我花了整整两天时间，逐层对比优化前后的输出，才发现是某个融合操作把数据类型搞错了。嗯，从那以后，我每次做图优化都会加一个数值校验的步骤。

总结一下：图优化是神经网络编译器的核心环节。它通过变换计算图结构，在不改变语义的前提下，提升执行效率。但优化不是万能的，需要根据具体场景选择合适的策略。

好了，这一章的内容就到这里。图优化是个大话题，后面我们会深入讲解每一种优化技术的原理和实现。记住，理解计算图是第一步，也是最重要的一步。

公众号:蓝海资料掘金营，微信deep3321