1、模型选型：为什么选微小模型？TinyML 与边缘计算的兴起，常见微小模型架构对比
说实话，我刚入行那会儿，大家还在拼命把模型做大。参数越多越好，层数越深越牛。但做着做着我发现一个问题——你搞个几百兆的模型，手机跑不动，IoT 设备直接罢工。这哪行？
所以今天咱们聊聊，为什么非要选微小模型不可。
1.1 为什么选微小模型？
先问个问题：你手头有个智能门锁，要做人脸识别。你是把数据传到云端算，还是本地直接算？
云端方案看着很美，但延迟、隐私、带宽都是坑。我有个朋友做智能家居，设备一多，云端费用直接爆炸。后来他换了 TinyML 方案，成本降了 80%。
微小模型的核心价值就三点：
- 低延迟：数据不用上传，本地推理，毫秒级响应
- 保护隐私：敏感数据不出设备，用户放心
- 省成本：不需要昂贵的云端算力，一个几块钱的 MCU 就能跑
核心观点：微小模型不是「缩水版」，而是为特定场景量身定做的「精悍版」。
1.2 TinyML 与边缘计算的兴起
TinyML 说白了，就是在微控制器上跑机器学习。你想想看，一个只有几百 KB 内存的芯片，要跑神经网络，这本身就是个挑战。
边缘计算这几年火起来，原因很简单——数据太多了。全球 IoT 设备数量已经超过 200 亿，每个设备都在产生数据。全传到云端？网络先扛不住。
我去年做过一个项目，在 ESP32 上部署语音唤醒模型。刚开始觉得「这能行吗？」结果调优后，模型只有 200KB，推理时间 50ms，效果出奇的好。
嗯，这里要注意：TinyML 不是万能的。它适合的场景有：
- 关键词唤醒（比如「Hey Siri」）
- 简单手势识别
- 异常检测（比如电机振动监测）
- 传感器数据分类
个人经验：我建议先从简单的二分类任务开始，别一上来就搞图像识别。先跑通流程，再逐步增加复杂度。
1.3 常见微小模型架构对比
市面上常见的微小模型架构，我挑三个最有代表性的聊聊。
1.3.1 MobileNet
MobileNet 是 Google 推出的轻量级 CNN，专门为移动设备设计。它的核心是深度可分离卷积，把标准卷积拆成两步，参数量直接降一个数量级。
举个例子：标准卷积需要 3×3×3×32 的参数，深度可分离卷积只需要 3×3×3 + 1×1×3×32，差了将近 10 倍。
# MobileNet 核心结构示例
def depthwise_separable_conv(inputs, num_filters):
# 深度卷积
x = DepthwiseConv2D(kernel_size=3, padding='same')(inputs)
x = BatchNormalization()(x)
x = ReLU()(x)
# 逐点卷积
x = Conv2D(num_filters, kernel_size=1)(x)
x = BatchNormalization()(x)
x = ReLU()(x)
return x我在项目中用过 MobileNetV2，在树莓派上跑实时目标检测，帧率能到 30 FPS。但要注意，MobileNet 对内存还是有要求的，至少需要几百 KB 的 RAM。
1.3.2 TinyBERT
TinyBERT 是 BERT 的轻量版，专门为 NLP 任务设计。原始 BERT 有 1.1 亿参数，TinyBERT 只有 1400 万，压缩了将近 8 倍。
怎么做到的？主要是知识蒸馏。用大模型当老师，教小模型学。我试过用 TinyBERT 做情感分类，准确率只比 BERT 低 2%，但推理速度快了 10 倍。
| 模型 | 参数量 | 推理时间（CPU） | 准确率（GLUE） |
|---|---|---|---|
| BERT-Base | 1.1 亿 | ~500ms | 82.1% |
| TinyBERT | 1400 万 | ~50ms | 80.2% |
| ALBERT | 1200 万 | ~60ms | 79.8% |
避坑指南：我曾经在 TinyBERT 上踩过一个坑——直接拿预训练模型做微调，结果效果很差。后来发现是输入长度没对齐。TinyBERT 最大支持 128 个 token，超过这个长度要截断或分段。
1.3.3 ESP32-S3 方案
ESP32-S3 是乐鑫推出的 AIoT 芯片，内置神经网络加速器。它最大的优势是便宜，开发板才几十块钱。
我最近用 ESP32-S3 做了一个手势识别项目：
- 模型：MobileNetV2 量化版，大小 300KB
- 推理时间：80ms
- 准确率：92%
- 功耗：50mW
说实话，这个效果让我挺意外的。以前觉得 MCU 上跑 AI 是噱头，现在发现是真能干活。
但 ESP32-S3 也有局限：
- 不支持浮点运算，必须量化到 int8
- 内存只有 512KB，模型不能太大
- 没有 GPU，复杂任务跑不动
1.4 怎么选？
我个人的选型思路是这样的：
- 先看任务类型：图像任务选 MobileNet，文本任务选 TinyBERT，传感器任务选 ESP32-S3
- 再看硬件限制：内存小于 1MB 的，只能选量化后的 MobileNet 或 TinyBERT
- 最后看精度要求：精度要求 95% 以上的，建议用大模型做蒸馏，别直接上微小模型
小技巧：我建议先跑一个基准模型，看看精度上限。然后逐步压缩，直到精度掉到可接受范围。这样能找到「性价比」最高的模型。
好了，这一章就聊到这儿。下一章咱们会深入讲 TinyML 的部署流程，包括模型量化、转换和烧录。到时候我会分享一些踩坑经验，保证让你少走弯路。