第二章 深度学习基础回顾：神经网络核心概念、卷积层、池化层、全连接层、激活函数、推理计算图
各位同学，咱们今天聊点实在的。做GPU推理加速器，你得先懂深度学习在算啥。说白了，神经网络就是一堆数学运算的堆叠，但堆叠的方式决定了性能的天差地别。我当年刚入行时，总觉得理论离工程很远，后来发现——不懂底层计算，你连加速器该加速什么都搞不清楚。
2.1 神经网络核心概念：从感知机到多层网络
神经网络最基础的单位是神经元。一个神经元接收多个输入，每个输入有个权重，加上偏置，再经过激活函数，输出一个值。嗯，就是这么简单。
但为什么多层网络能解决复杂问题？我个人习惯把神经网络看作一个「特征提取器」。浅层学边缘、纹理，深层学语义、结构。你想想看，如果只有一层，它只能做线性分类，连异或问题都搞不定。多层之后，非线性能力就出来了。
核心公式（前向传播）：
z = w1*x1 + w2*x2 + ... + wn*xn + b
a = activation(z)其中 w 是权重，b 是偏置，activation 是激活函数。
我在项目中遇到过一个问题：有人把网络层数堆到100层，结果训练不收敛。后来发现是梯度消失了。所以层数不是越多越好，得看你的硬件能不能撑住。
2.2 卷积层：加速器的核心战场
卷积层是CNN的绝对主力，也是GPU加速器最需要优化的地方。为什么？因为计算量大、数据复用性强、并行度高。
卷积的本质是「滑动窗口+点积」。一个卷积核在输入特征图上滑动，每次做一次乘加运算。你想想看，一个224x224的输入，64个3x3的卷积核，一次前向就要做几千万次乘加。GPU的矩阵乘法单元就是为这个设计的。
我个人习惯的卷积参数记忆法：
- 输入通道（C_in）：上一层的输出深度
- 输出通道（C_out）：本层卷积核的数量
- 卷积核大小（K）：一般是3x3、5x5、7x7
- 步长（S）：滑动步长，控制输出尺寸
- 填充（P）：保持尺寸或减少边缘信息丢失
输出特征图尺寸公式：
输出尺寸 = (输入尺寸 - K + 2*P) / S + 1我曾经踩过一个坑：在FPGA上实现卷积加速器时，没考虑数据排布方式。NHWC和NCHW两种格式，对DDR带宽利用率影响巨大。NCHW在GPU上更友好，因为连续的内存访问模式。但如果你用CPU做推理，NHWC反而更快。嗯，这里要注意，加速器设计时一定要搞清楚你的目标平台。
2.3 池化层：降采样与特征压缩
池化层的作用很简单：降采样。减少特征图尺寸，降低计算量，同时提供一定的平移不变性。
常见的池化方式有两种：
| 池化类型 | 操作 | 特点 |
|---|---|---|
| 最大池化（Max Pooling） | 取窗口内最大值 | 保留最显著特征，对纹理敏感 |
| 平均池化（Average Pooling） | 取窗口内平均值 | 平滑特征，减少噪声影响 |
我个人建议：在推理加速器中，池化层其实可以「融合」到卷积层里。比如用步长为2的卷积代替池化，减少一次内存访问。我在一个项目里试过，推理速度提升了15%。
注意：池化层没有可训练参数，但它的计算模式对硬件设计有影响。最大池化需要比较器，平均池化需要加法器。如果你用ASIC实现，这两种池化的硬件开销不一样。
2.4 全连接层：参数大户
全连接层，说白了就是矩阵乘法。每个输入节点连接到每个输出节点，参数数量 = 输入维度 × 输出维度。
举个例子：VGG16的最后三层全连接，参数占了整个网络的80%以上。这就是为什么很多轻量化网络（如MobileNet）用全局平均池化代替全连接层。
全连接层的计算公式：
y = W * x + b其中W是权重矩阵，x是输入向量，b是偏置向量。
在推理加速器中，全连接层的优化重点在于矩阵乘法的高效实现。GPU的Tensor Core就是为这个设计的。但如果你做的是边缘端加速器，全连接层可能成为瓶颈——因为参数太多，DDR带宽不够用。
我记得有一次做嵌入式推理芯片，全连接层的权重占了2MB，但片上SRAM只有512KB。最后只能做权重分块加载，每次算一部分。嗯，这就是硬件设计中的「内存墙」问题。
2.5 激活函数：非线性之源
没有激活函数，神经网络就是线性变换的堆叠，表达能力有限。激活函数引入非线性，让网络能拟合任意复杂函数。
常见的激活函数：
| 函数名 | 公式 | 特点 |
|---|---|---|
| Sigmoid | 1 / (1 + e^(-x)) | 输出范围(0,1)，梯度饱和，容易梯度消失 |
| Tanh | (e^x - e^(-x)) / (e^x + e^(-x)) | 输出范围(-1,1)，梯度饱和问题依然存在 |
| ReLU | max(0, x) | 计算简单，缓解梯度消失，但存在「神经元死亡」 |
| Leaky ReLU | max(αx, x) | 解决神经元死亡问题，α通常取0.01 |
我个人习惯在推理加速器中使用ReLU。为什么？因为它计算最简单——只需要一个比较器，不需要指数运算。在硬件上，ReLU几乎零开销。但要注意，ReLU的「神经元死亡」问题在训练时需要考虑，推理时倒还好。
避坑指南：我曾经在FPGA上实现Sigmoid函数，用了查找表+LUT插值，结果精度不够，导致分类准确率下降2%。后来改用分段线性近似，效果好了很多。所以激活函数的硬件实现，精度和面积的权衡很重要。
2.6 推理计算图：从模型到硬件映射
推理计算图，就是把神经网络的前向传播过程，表示成一个有向无环图（DAG）。每个节点是一个算子（卷积、池化、激活等），每条边是数据的流向。
为什么计算图重要？因为加速器设计就是围绕计算图来做的。你要分析：
- 算子类型：哪些算子是计算密集型的（卷积、全连接）？哪些是内存密集型的（池化、拼接）？
- 数据依赖：哪些算子可以并行执行？哪些必须串行？
- 数据复用：输入特征图、权重、中间结果，哪些可以复用？
举个例子，一个简单的推理计算图：
输入 → Conv1 → ReLU → Pool1 → Conv2 → ReLU → Pool2 → FC1 → ReLU → FC2 → Softmax → 输出在GPU上，这个计算图会被编译器优化。比如把Conv+ReLU融合成一个算子，减少一次内存读写。我建议你在设计加速器时，也考虑这种算子融合策略。我在一个项目里做过Conv+BN+ReLU的三合一融合，推理延迟降低了30%。
计算图优化的核心原则：
- 减少内存访问次数（数据复用）
- 增加计算密度（减少控制开销）
- 利用并行性（多核、流水线）
嗯，说到这里，我想强调一点：计算图优化不是万能的。你得结合硬件特性来做。比如GPU适合大矩阵乘法，但小卷积核的优化空间有限。FPGA适合定制化流水线，但灵活性不如GPU。所以，没有最好的加速器，只有最适合的加速器。
好了，这一章的内容就到这里。深度学习基础是加速器设计的基石，后面我们会深入每个算子的硬件实现细节。下一章，我们聊聊「GPU架构与CUDA编程模型」，到时候我会分享一些我在NVIDIA GPU上做优化的实战经验。