4、轻量化模型选型：从DeepSpeech到WeNet、TinyML模型概览
好，咱们进入第四讲。这一章我打算聊聊模型选型这件事。说白了，就是面对一堆语音识别模型，你该怎么挑？
很多刚入行的朋友，上来就盯着准确率看。这其实是个误区。在边缘设备上，准确率只是及格线，真正卡脖子的是「能不能跑得动」。我当年第一个项目就吃过这个亏——模型在服务器上跑得飞起，一部署到ARM开发板上，直接卡死。嗯，从那以后，我选模型的第一件事就是看复杂度。
4.1 从DeepSpeech到WeNet：一条演进之路
先简单回顾一下语音识别模型的发展。这能帮你理解，为什么我们今天要选轻量化模型。
DeepSpeech 是百度开源的经典模型。它基于端到端的思想，用CTC作为损失函数。说实话，DeepSpeech在2014年那会儿是神作。但它的结构偏重，用的是多层双向LSTM，参数量动辄上亿。我试过在树莓派上跑DeepSpeech，推理一次要好几秒，完全没法用。
后来出现了 WeNet。这个框架很有意思，它把流式和非流式统一起来了。WeNet用的是Conformer结构，比纯Transformer更轻，而且支持U2框架。我个人习惯在需要实时交互的场景下首选WeNet，比如智能音箱、语音助手。它的优势在于：
- 支持流式解码，延迟低
- 模型大小可控，有tiny版本
- 训练和部署工具链成熟
但WeNet再轻，对于MCU级别的设备还是太重。这时候就要请出 TinyML 了。
4.2 TinyML模型概览：为极致压缩而生
TinyML不是某个具体模型，而是一整套方法论。它追求的是在KB级别的内存里跑推理。我参与过一个智能门锁项目，芯片只有256KB RAM，连个完整的WeNet都塞不进去。怎么办？只能用TinyML的思路。
常见的TinyML语音模型有：
- DSCNN（Depthwise Separable CNN）：谷歌出品，专门为关键词识别设计。参数量只有几十KB。
- CRNN（卷积+循环神经网络）：比纯CNN更擅长处理时序，但参数量略大。
- Transformer-Lite：把注意力机制做了极致简化，适合有硬件加速的场景。
你想想看，这些模型在服务器上可能连「玩具」都算不上，但在边缘设备上，它们就是主力军。
4.3 模型复杂度指标：参数量与计算量
好，到了核心部分。怎么量化一个模型「轻不轻」？我主要看两个指标：参数量和计算量。
4.3.1 参数量（Params）
参数量就是模型里有多少个可学习的参数。单位通常是M（百万）或K（千）。
为什么重要？因为参数越多，模型文件越大，占用的内存也越多。在边缘设备上，Flash和RAM都是稀缺资源。
举个例子：
- DeepSpeech v0.1：约 50M 参数，模型文件约 200MB
- WeNet tiny：约 10M 参数，模型文件约 40MB
- DSCNN：约 40K 参数，模型文件约 160KB
我曾经在项目里犯过一个错：只看了参数量，没看内存对齐。结果模型文件虽然小，但运行时临时缓冲区申请了很大，直接把RAM撑爆了。所以，除了参数量，你还要关注 峰值内存占用。
4.3.2 计算量（FLOPs / MACs）
计算量衡量的是模型推理一次需要做多少次运算。常用单位是MFLOPs（百万次浮点运算）或GMACs（十亿次乘加运算）。
这个指标直接决定了推理速度。你想想看，同样的模型，在服务器上跑只要1ms，在Cortex-M4上可能要1秒。为什么？因为计算能力差了几个数量级。
我一般这样估算：
- MCU级别（200MHz以下）：FLOPs 最好控制在 10M 以内
- 嵌入式Linux（1GHz左右）：FLOPs 可以到 100M-500M
- 边缘AI芯片（NPU加速）：FLOPs 可以到 1G 以上
重要提醒：FLOPs 和参数量没有绝对的正比关系。有些模型参数量小，但计算量大（比如深度可分离卷积的反向操作）。所以两个指标要一起看。
4.4 实战选型建议
说了这么多，到底怎么选？我总结了一个简单的决策树：
| 场景 | 推荐模型 | 参数量 | 计算量 |
|---|---|---|---|
| MCU（如Cortex-M4） | DSCNN / TinyLSTM | < 100K | < 10M FLOPs |
| 嵌入式Linux（如树莓派） | WeNet tiny / CRNN | < 10M | < 500M FLOPs |
| 边缘AI盒子（如RK3588） | WeNet base / Conformer | < 50M | < 5G FLOPs |
我的个人习惯：先定硬件，再选模型。不要反过来。我曾经见过有人先选了个大模型，然后满世界找能跑得动的硬件，最后成本翻了三倍。嗯，这坑我踩过。
4.5 避坑指南
最后分享几个实战中容易忽略的点：
- 量化后的精度损失：INT8量化后，参数量不变，但计算量会大幅下降。不过精度可能掉1-3%。我建议先跑一遍量化后的推理，看看能不能接受。
- 算子支持：不是所有模型都能在目标硬件上跑。比如某些硬件不支持Softmax的硬件加速，那就得手动实现。我曾经在RISC-V芯片上踩过这个坑，最后只能改模型结构。
- 内存带宽：有些模型计算量不大，但频繁读写内存，导致实际速度很慢。这时候要考虑模型剪枝或内存复用。
好了，这一章就到这里。下一章我们会深入讲模型剪枝和量化，那是真正让模型「瘦身」的绝招。到时候见。