4、AI模型选型与轻量化设计：适合边缘的模型
好，咱们进入第四章。这一章我估计是大家最关心的——模型选型和轻量化。说白了，就是怎么把那个动辄几百兆的AI模型，塞进你手里那个只有几兆内存的嵌入式设备里。
我在项目里见过太多人，模型在服务器上跑得飞起，一部署到边缘设备就崩了。为什么？模型太大，算力不够。所以这一章，咱们就把这事彻底聊透。
4.1 适合边缘的模型选型
选模型，不是越新越好，也不是越准越好。你得看你的硬件能扛住什么。我个人习惯，先看三个指标：参数量、计算量、内存占用。这三个不过关，再好的模型也是白搭。
4.1.1 MobileNet：移动端的扛把子
MobileNet，这名字就说明了一切——为移动端而生。它的核心思想是深度可分离卷积。什么意思？就是把标准卷积拆成两步：先逐通道卷积，再逐点卷积。
你想想看，标准卷积一次要处理所有通道，计算量是：
标准卷积计算量 = K × K × C_in × C_out × H × W而深度可分离卷积：
深度可分离卷积计算量 = K × K × C_in × H × W + C_in × C_out × H × W我算过一笔账，3x3卷积核，输入输出都是64通道，深度可分离卷积能省掉大约8-9倍的计算量。嗯，这个数字我记得很清楚，因为有一次客户要求把模型跑在STM32上，全靠MobileNet才救回来。
4.1.2 TinyML：极致轻量的代表
TinyML，说白了就是让机器学习跑在微控制器上。这类模型通常只有几十KB到几百KB。我建议你关注TensorFlow Lite Micro，它专门为MCU优化过。
举个例子，一个TinyML的人体检测模型：
模型大小：约250KB
RAM占用：约100KB
推理时间：约30ms（在Cortex-M4上）
我曾经在一个项目中，用TinyML在STM32L4上做关键词唤醒。一开始觉得不可能，后来发现只要选对模型，剪枝到位，完全没问题。
4.1.3 决策树：简单粗暴但有效
别看不起决策树。在很多工业场景里，决策树比深度学习还好使。为什么？因为它可解释性强，而且计算量极低。
一个深度为10的决策树，推理只需要做10次比较。你想想看，这在实时性要求高的场景里有多香。我在一个电机故障检测项目里，就用决策树替代了原来的CNN模型，推理时间从50ms降到了0.5ms，准确率只掉了2%。
4.2 模型轻量化技术
模型选好了，但可能还是太大。这时候就需要轻量化技术。我常用的有三招：剪枝、知识蒸馏、量化。咱们一个一个说。
4.2.1 模型剪枝：去掉冗余的神经元
剪枝，说白了就是把不重要的连接或通道砍掉。为什么能砍？因为训练好的模型里，很多权重接近0，它们对最终结果影响很小。
剪枝分两种：
- 非结构化剪枝： 砍掉单个权重。稀疏度高，但硬件不友好。
- 结构化剪枝： 砍掉整个通道或卷积核。硬件友好，但精度损失可能大一些。
我一般先用结构化剪枝，因为在实际部署时，非结构化剪枝的加速效果往往不如预期。我曾经踩过这个坑——剪完模型小了，但推理时间没怎么变，因为硬件不支持稀疏矩阵运算。
4.2.2 知识蒸馏：大模型教小模型
知识蒸馏，就是让一个大模型（教师）教一个小模型（学生）。学生模型学习教师模型的输出分布，而不是直接学习原始标签。
蒸馏的关键是温度参数T：
softmax输出 = exp(z_i / T) / Σ exp(z_j / T)T越大，输出分布越平滑，小模型能学到更多"暗知识"。
我记得在一个图像分类项目里，用ResNet-50做教师，MobileNetV2做学生。蒸馏后，MobileNetV2的准确率从72%提升到了76%，而参数量只有ResNet-50的1/10。
- 训练一个大的教师模型
- 用教师模型在训练集上生成软标签
- 用软标签训练学生模型（同时保留部分硬标签）
- 部署学生模型到边缘设备
4.2.3 模型量化：用更少的比特表示参数
量化，就是把模型参数从32位浮点数变成8位整数甚至更少。这是最直接的轻量化手段。
| 量化类型 | 比特数 | 模型大小缩减 | 精度损失 |
|---|---|---|---|
| FP32 → FP16 | 16 | 50% | 几乎无 |
| FP32 → INT8 | 8 | 75% | 1-3% |
| FP32 → INT4 | 4 | 87.5% | 3-8% |
我建议你优先尝试INT8量化。为什么？因为大多数边缘芯片（如STM32N6、i.MX RT系列）都原生支持INT8推理，不需要额外处理。
4.3 模型参数量与计算量评估
选模型和做轻量化，最终都要落到两个指标：参数量和计算量。这两个指标决定了你的模型能不能在目标硬件上跑起来。
4.3.1 参数量计算
参数量，就是模型里有多少个可训练的参数。对于卷积层：
参数量 = K × K × C_in × C_out + C_out（偏置）对于全连接层：
参数量 = N_in × N_out + N_out（偏置）我一般用PyTorch的summary函数或者TensorFlow的model.summary()来快速查看。但要注意，这些工具统计的是总参数量，实际部署时还要考虑内存对齐和框架开销。
4.3.2 计算量评估
计算量，通常用MACs（乘加操作数）或FLOPs（浮点操作数）来衡量。1个MAC等于2个FLOPs。
对于卷积层：
MACs = K × K × C_in × C_out × H_out × W_out举个例子，一个3x3卷积，输入32通道，输出64通道，输出特征图大小是56x56：
MACs = 3 × 3 × 32 × 64 × 56 × 56 = 57.8M- 先用工具（如ptflops、keras-flops）估算总计算量
- 查目标硬件的算力（如STM32H7约100M MACs/s）
- 估算推理时间：总MACs / 硬件算力
- 留出30%余量，确保实时性
4.3.3 实际部署中的注意事项
嗯，这里要注意。理论计算和实际部署往往有差距。为什么？因为内存带宽、缓存命中率、框架开销都会影响实际性能。
我曾经在一个项目里，理论计算说模型能在50ms内跑完，结果实际测出来是120ms。后来发现是内存访问模式不对，数据在DDR和SRAM之间频繁搬运。优化了数据布局后，才降到55ms。
好了，这一章的内容就到这里。模型选型和轻量化，说白了就是一场平衡游戏——在精度、速度、大小之间找到最优解。下一章咱们会讲具体的部署工具链和实战案例，到时候我会拿一个完整的项目来演示。