一、嵌入式AI概述：AI在嵌入式系统中的应用、嵌入式AI的挑战与机遇、课程整体框架介绍
1.1 为什么嵌入式系统需要AI？
说实话，五年前我刚接触这个方向时，心里也犯嘀咕——嵌入式设备那点算力，跑得动AI吗？
但后来我发现，需求倒逼技术。你想想看，智能音箱、扫地机器人、车载摄像头，这些设备如果每次都要把数据传到云端处理，延迟和隐私都是大问题。我有个项目是做工业质检的，摄像头拍完照片，传云端再等结果回来，产线都停了两秒。老板直接拍桌子：“能不能本地搞定？”
这就是嵌入式AI的起点——把AI模型塞进资源受限的设备里，让它在本地实时推理。
核心概念：嵌入式AI = 嵌入式系统 + 机器学习/深度学习模型。目标是在MCU、DSP、FPGA或低功耗SoC上，实现低延迟、低功耗、高可靠的AI推理。
1.2 嵌入式AI的典型应用场景
我这些年接触过的项目，基本覆盖了下面几个方向。每个场景都有它的脾气，咱们一个一个说。
- 智能语音唤醒：比如“小爱同学”、“Hey Siri”。模型必须小到能在几十KB的RAM里跑，还得在嘈杂环境中准确唤醒。我之前调过一个唤醒词模型，在安静环境准确率99%，一放到商场里直接掉到70%。后来加了数据增强才搞定。
- 图像识别与分类：人脸门禁、手势控制、工业缺陷检测。这类任务通常需要CNN，但嵌入式端跑CNN很吃内存。我习惯用量化+剪枝，把模型从几十MB压到几百KB。
- 传感器数据处理：加速度计、陀螺仪、温湿度传感器。比如智能手环的步数检测、跌倒检测。这类模型通常用轻量级MLP或决策树，甚至可以用查找表。
- 预测性维护：电机振动分析、设备故障预警。模型跑在边缘网关或PLC上，实时分析频谱数据。
| 应用场景 | 典型硬件 | 模型大小要求 | 延迟要求 |
|---|---|---|---|
| 语音唤醒 | Cortex-M4/M7 | < 100KB | < 100ms |
| 人脸识别 | Cortex-A系列 + NPU | < 1MB | < 200ms |
| 传感器分类 | Cortex-M0/M3 | < 10KB | < 10ms |
| 工业异常检测 | FPGA / 边缘网关 | < 5MB | < 50ms |
1.3 嵌入式AI的挑战——我踩过的坑
做嵌入式AI，说白了就是戴着镣铐跳舞。我刚开始那两年，几乎每个项目都踩过坑。下面这几个是高频雷区：
1.3.1 算力与内存的硬约束
MCU的Flash通常只有几百KB到几MB，RAM更是可怜，几十KB到几百KB。你想想看，一个MobileNetV2原始模型都要十几MB，怎么塞进去？
我的做法：模型量化（INT8甚至INT4）+ 结构剪枝 + 知识蒸馏。这三板斧下来，模型体积能缩到原来的1/10到1/20。
1.3.2 功耗与散热的平衡
我曾经做过一个电池供电的传感器节点，CPU跑AI推理时电流飙到200mA，电池半天就没了。后来发现是模型推理频率太高——其实每5秒采一次样就够了，我设成了每秒一次。嗯，这里要注意：不是所有数据都需要实时推理，降低采样频率是最简单的省电手段。
1.3.3 工具链碎片化
不同芯片厂商的工具链各玩各的。ST有STM32Cube.AI，NXP有eIQ，TI有Edge AI Studio，瑞萨有DRP-AI。我建议：先选好硬件平台，再选工具链，不要反过来。否则模型训练好了发现目标芯片不支持某个算子，那才叫欲哭无泪。
避坑指南：我曾经在一个项目里用了TensorFlow Lite Micro，结果目标MCU的CMSIS-NN库不支持某些激活函数。最后只能手写汇编优化。所以，选型阶段一定要确认算子兼容性，最好先跑一个最小demo验证。
1.4 嵌入式AI的机遇——为什么现在入局正当时？
说实话，这个领域现在正处于爆发期。原因有三：
- 硬件越来越强：Cortex-M55、Cortex-M85都带了Helium向量扩展，NPU（神经网络处理器）也成了中高端MCU的标配。我去年用一块带NPU的芯片跑YOLOv8-nano，推理速度比纯CPU快了20倍。
- 工具链趋于成熟：TensorFlow Lite Micro、ONNX Runtime、TVM、Apache TVM，这些开源框架对嵌入式端的支持越来越完善。你不需要从零写推理引擎了。
- 市场需求旺盛：智能家居、工业4.0、智慧医疗、车联网，每个赛道都在喊“边缘智能”。会嵌入式AI的工程师，薪资比纯嵌入式或纯AI的都要高出一截。
我的建议：如果你现在开始学嵌入式AI，优先掌握模型量化和轻量级网络设计这两项技能。这是嵌入式AI的核心壁垒，也是面试时最常被问到的点。
1.5 课程整体框架介绍
这门课一共30章，我按“基础→工具→实战→优化”四个阶段来组织。你跟着走完，基本就能独立完成一个嵌入式AI项目了。
| 阶段 | 章节 | 核心内容 |
|---|---|---|
| 基础篇 | 第1-5章 | 嵌入式AI概述、硬件选型、模型量化基础、轻量级网络设计、数据采集与标注 |
| 工具篇 | 第6-12章 | TensorFlow Lite Micro、STM32Cube.AI、eIQ、ONNX Runtime、TVM、模型转换与部署 |
| 实战篇 | 第13-22章 | 语音唤醒实战、人脸识别实战、手势识别实战、异常检测实战、传感器融合实战 |
| 优化篇 | 第23-30章 | 模型剪枝、知识蒸馏、硬件加速、功耗优化、多任务调度、安全与可靠性、项目实战总结 |
我个人习惯是：每章都配一个可运行的代码示例。你拿到代码后，先跑通，再改参数，最后理解原理。这样学起来比光看书快得多。
嗯，第一章就到这里。下一章咱们聊聊硬件选型——到底该用MCU、MPU还是FPGA？ 我会拿我踩过的选型坑给你当反面教材。