2、轻量化模型基础：MobileNet系列核心思想（深度可分离卷积）、ShuffleNet（通道混洗）、EfficientNet-Lite
好，咱们直接进入正题。轻量化模型这块，说白了就是给模型“减肥”。你想想看，一个几百兆的模型在服务器上跑得飞起，但放到手机或者嵌入式设备上，直接就卡死了。我当年第一次在树莓派上部署YOLOv3，那帧率简直惨不忍睹，后来才意识到，轻量化不是可选项，而是必选项。
今天咱们重点聊三个经典系列：MobileNet、ShuffleNet 和 EfficientNet-Lite。它们代表了三种不同的“减肥”思路。
2.1 MobileNet 系列：深度可分离卷积
MobileNet 的核心就一个词：深度可分离卷积。这玩意儿到底是个啥？
常规卷积，你想想看，一个卷积核要同时处理输入的所有通道。比如输入是 3 通道，输出是 64 通道，那卷积核的维度就是 3×3×3×64，参数量一下子就上去了。
深度可分离卷积把它拆成了两步：
- 深度卷积：每个通道单独用一个 3×3 的卷积核去处理。输入 3 通道，就用 3 个 3×3 的核，互不干扰。
- 逐点卷积：然后用 1×1 的卷积核去融合这些通道的信息，把维度升到 64。
这样做的好处是什么？我算给你看：
参数量对比
- 常规卷积：3×3×3×64 = 1728
- 深度可分离卷积：3×3×3 + 1×1×3×64 = 27 + 192 = 219
参数量直接降到原来的 1/8 左右！
我在项目中遇到过一个问题：用深度可分离卷积替换掉所有常规卷积后，模型确实变小了，但精度掉了不少。后来发现，是因为深度卷积的每个通道独立计算，信息交互不够。解决办法是在深度卷积之后加一个 BN 和 ReLU，效果会好很多。
我的经验：MobileNetV1 到 V3 的演进，其实就是在解决“如何让轻量化网络学得更好”的问题。V2 加了倒残差结构，V3 用了神经架构搜索。但如果你刚入门，先把 V1 的深度可分离卷积吃透，后面的都是锦上添花。
2.2 ShuffleNet：通道混洗
ShuffleNet 的思路更巧妙。它用了分组卷积，但分组卷积有个问题——组与组之间没有信息交流。你想想看，如果每组只在自己的小圈子里玩，那学到的特征肯定不够丰富。
ShuffleNet 的解决方案就是：通道混洗。
什么叫通道混洗？就是把不同组的通道打乱，重新分配。比如你有 4 组，每组 4 个通道，混洗之后，每个组里都包含了其他组的通道信息。这样一来，下一层分组卷积就能看到更全局的特征了。
避坑指南：我曾经在实现 ShuffleNet 时，自己手写了一个通道混洗操作，结果因为索引搞错了，模型训练出来精度还不如随机猜测。后来我直接用 PyTorch 的 channel_shuffle 函数，省心多了。如果你要自己实现，记得检查张量的维度变化。
ShuffleNet 还有一个特点：它用了 逐点分组卷积（也就是 1×1 的分组卷积）。这进一步减少了计算量。但要注意，分组数不能太大，否则每个组内的通道太少，特征表达能力会下降。我一般建议分组数取 2 或 4，效果比较稳定。
2.3 EfficientNet-Lite：复合缩放
EfficientNet 本身是一个大家族，但 EfficientNet-Lite 是专门为移动端和边缘设备优化的版本。它的核心思想是复合缩放——同时调整网络的深度、宽度和分辨率。
你可能会问：为什么不只调一个维度？
我举个例子。如果你只增加深度（层数），但宽度（通道数）不变，那网络可能会过拟合，而且计算量增长很快。如果你只增加宽度，但深度不够，特征提取能力又跟不上。EfficientNet 通过神经架构搜索找到了一个平衡点：深度、宽度、分辨率按比例同时缩放。
| 模型 | 深度系数 | 宽度系数 | 分辨率 | 参数量 |
|---|---|---|---|---|
| EfficientNet-B0 | 1.0 | 1.0 | 224 | 5.3M |
| EfficientNet-B1 | 1.1 | 1.0 | 240 | 7.8M |
| EfficientNet-Lite0 | 1.0 | 1.0 | 224 | 4.7M |
EfficientNet-Lite 在 EfficientNet 的基础上做了几项改动：
- 去掉了 SE 模块（Squeeze-and-Excitation），因为它在移动端上计算开销太大。
- 用 ReLU6 替代 Swish 激活函数，因为 ReLU6 在量化时更友好。
- 调整了网络结构，使其更适合在 CPU 或 GPU 上推理。
我的建议：如果你要在手机上部署目标检测模型，EfficientNet-Lite 是一个很好的 backbone 选择。它比 MobileNetV3 精度高一点，比 ShuffleNetV2 更稳定。但要注意，它的推理速度在低端设备上可能不如 MobileNet 快，需要根据实际硬件做权衡。
2.4 小结
这三个系列，说白了就是三种不同的“减肥”思路：
- MobileNet：用深度可分离卷积，把标准卷积拆开，减少参数量。
- ShuffleNet：用分组卷积 + 通道混洗，让信息流通起来。
- EfficientNet-Lite：用复合缩放，找到深度、宽度、分辨率的最佳组合。
我个人习惯是：如果项目对速度要求极高，选 MobileNetV3；如果对精度要求稍高，选 EfficientNet-Lite；如果要在资源受限的设备上跑，ShuffleNetV2 是个不错的选择。嗯，具体选哪个，还得看你的硬件和数据集。下一章咱们聊聊如何把这些 backbone 用到目标检测模型里。