4. 卷积神经网络基础：卷积层、池化层、全连接层、激活函数，以及它们在GPU上的并行化原理
各位同学好，我是你们的老朋友。今天我们来聊聊卷积神经网络（CNN）的四大核心组件：卷积层、池化层、全连接层和激活函数。说实话，这些概念在教科书里讲得挺清楚，但真正在GPU上跑起来，很多细节就变得微妙了。我当年刚入行时，就因为没搞懂卷积的并行化原理，写出来的算子比官方库慢了十几倍——嗯，那滋味可不好受。
4.1 卷积层：特征提取的利器
卷积层是CNN的绝对主角。它的核心思想很简单：用一个小窗口（卷积核）在输入图像上滑动，每次计算窗口内像素的加权和。这个加权和就是特征图上的一个像素点。
为什么会这样设计？你想想看，图像中的边缘、纹理、角点等特征，往往只出现在局部区域。全连接网络要处理整张图，参数太多不说，还容易过拟合。卷积层通过局部连接和权值共享，完美解决了这个问题。
关键参数：
- 卷积核大小：常见3x3、5x5。我个人习惯用3x3堆叠，效果比大核更好，参数量还少。
- 步长：每次滑动的像素数。步长越大，输出特征图越小。
- 填充：在输入边缘补零，控制输出尺寸。我建议用"same"填充，保持空间维度不变。
- 输入/输出通道数：输入通道数等于上一层的输出通道数，输出通道数由卷积核数量决定。
举个具体例子。假设输入是224x224x3的RGB图像，我们用64个3x3的卷积核，步长为1，填充为1。那么输出特征图尺寸是多少？
输出尺寸 = (224 - 3 + 2*1) / 1 + 1 = 224。所以输出是224x224x64。每个卷积核有3x3x3=27个权重，加上1个偏置，总共28个参数。64个卷积核就是1792个参数。你看，参数量很少吧？
4.2 卷积的GPU并行化原理
现在我们来聊聊GPU怎么加速卷积。说白了，卷积操作天然适合并行计算。为什么？因为每个输出像素的计算是独立的，互不依赖。
GPU的并行策略通常有两种：
- im2col + GEMM：把卷积操作转化为矩阵乘法。具体做法是将输入图像展开成一个大矩阵，每一列对应一个卷积窗口内的像素。然后直接用GPU上的矩阵乘法库（如cuBLAS）计算。这种方法简单高效，但内存占用大。
- 直接卷积：每个线程块负责计算输出特征图的一个tile。线程块内的线程协作加载输入数据到共享内存，然后计算卷积。这种方法内存友好，但实现复杂。
我的经验：在项目中，我通常先用im2col快速验证算法，再根据性能瓶颈切换到直接卷积。曾经有一次，im2col的内存占用导致显存溢出，换成直接卷积后不仅解决了内存问题，速度还快了30%。
GPU上的卷积计算，核心优化点在于数据复用。每个卷积核要滑动很多次，每次都会用到相同的输入像素。如果能把输入数据缓存到共享内存，就能大幅减少全局内存访问。我记得在优化一个3x3卷积时，通过合理分块和共享内存，吞吐量提升了4倍。
4.3 池化层：降维与特征增强
池化层的作用是降低特征图的空间维度，同时保留最重要的特征。常见的池化方式有两种：
- 最大池化：取窗口内的最大值。我倾向于用这个，因为它能保留最显著的特征，对纹理和边缘检测效果好。
- 平均池化：取窗口内的平均值。这个更平滑，适合背景信息提取。
池化层的GPU并行化比卷积简单得多。每个输出像素的计算只依赖一个局部窗口，而且计算量很小。GPU上通常每个线程处理一个输出像素，直接读取输入数据计算即可。
避坑指南：我曾经在池化层上犯过一个低级错误——忘记处理边界情况。当输入尺寸不能被池化窗口整除时，边缘像素的处理方式需要明确。我建议用"ceil"模式，确保所有输入像素都被覆盖到。
4.4 全连接层：特征整合与分类
全连接层是CNN的"大脑"，负责把前面提取的局部特征整合成全局特征，最终输出分类结果。它的计算就是矩阵乘法：y = Wx + b。
全连接层的参数量通常很大。比如，如果上一层输出是7x7x512，全连接层有4096个神经元，那么权重矩阵就是(7*7*512) x 4096 ≈ 1亿个参数。这占了整个网络参数的大头。
GPU上全连接层的并行化就是标准的矩阵乘法。每个线程块计算输出向量的一部分，线程块内的线程协作完成矩阵乘法。cuBLAS库对这类操作做了极致优化，我建议直接调用，不要自己写。
性能对比：
| 层类型 | 计算量 | 参数量 | GPU并行度 |
|---|---|---|---|
| 卷积层 | 高 | 低 | 极高 |
| 池化层 | 低 | 0 | 高 |
| 全连接层 | 高 | 极高 | 极高 |
4.5 激活函数：引入非线性
如果没有激活函数，神经网络就退化成线性模型，表达能力大打折扣。激活函数的作用就是引入非线性，让网络能学习复杂的映射关系。
常见的激活函数有：
- ReLU：f(x) = max(0, x)。简单高效，梯度不会饱和。我90%的项目都用它。
- Sigmoid：f(x) = 1/(1+e^{-x})。输出范围0-1，适合二分类。但梯度容易消失，慎用。
- Tanh：f(x) = (e^x - e^{-x})/(e^x + e^{-x})。输出范围-1到1，比Sigmoid好一点。
激活函数的GPU并行化非常简单。每个线程处理一个元素，直接计算函数值。ReLU甚至只需要一个条件判断，几乎不消耗计算资源。
我的建议：在自动驾驶感知任务中，我强烈推荐ReLU及其变体（如Leaky ReLU）。它们计算快，梯度传播好，而且能缓解梯度消失问题。曾经有一个项目，把Sigmoid换成ReLU后，训练速度提升了3倍，精度还涨了2个点。
4.6 总结与实战建议
好了，我们来总结一下今天的内容。卷积层负责特征提取，池化层负责降维，全连接层负责分类，激活函数负责非线性。这四个组件配合起来，构成了CNN的完整骨架。
在GPU上实现这些操作时，记住几个要点：
- 卷积层优先考虑数据复用，用共享内存缓存输入数据。
- 池化层注意边界处理，用"ceil"模式避免遗漏。
- 全连接层直接调用cuBLAS，别自己造轮子。
- 激活函数用ReLU系列，简单高效。
最后，我想说：理解这些基础层的并行化原理，是优化整个感知模型的前提。我在实际工作中，经常需要针对特定硬件（比如Jetson Orin）调整这些层的实现。只有把基础打牢了，才能在遇到性能瓶颈时游刃有余。
下一章，我们会深入讨论CNN在GPU上的训练优化技巧。到时候我会分享一些更实战的经验，包括混合精度训练和梯度累积等高级话题。我们下次见！