1、嵌入式AI概述：什么是嵌入式AI、应用场景与主流芯片平台对比
大家好，我是你们这门课的老朋友。今天咱们正式开篇，聊聊嵌入式AI到底是个什么东西。
说实话，我第一次接触“嵌入式AI”这个词的时候，心里也犯嘀咕：这不就是把AI模型塞进单片机里跑吗？后来踩了不少坑才明白，事情远没那么简单。
1.1 什么是嵌入式AI？
嵌入式AI，说白了就是让那些资源受限的小芯片——比如STM32、树莓派——也能跑深度学习模型。你想想看，传统的AI推理都在云端或者PC上，数据要上传、要等待、还要担心隐私。而嵌入式AI呢？直接在设备本地做推理，实时性高、功耗低、还能离线工作。
我个人的理解是：嵌入式AI = 嵌入式系统 + 深度学习推理。但这里有个关键点——不是把模型原封不动搬过去，而是要做大量的裁剪、量化和优化。我在项目中遇到过，一个在PC上跑得飞快的YOLOv5模型，直接放到Jetson Nano上，帧率直接掉到个位数。嗯，这就是没做优化的后果。
核心要点：嵌入式AI不是简单的“移植”，而是“适配”。你要在算力、内存、功耗和精度之间找到那个微妙的平衡点。
1.2 应用场景：从智能家居到自动驾驶
嵌入式AI的应用场景，其实比你想象的要广得多。我挑三个典型的说说。
智能家居
你家里的智能音箱、智能摄像头，甚至智能灯泡，里面都可能跑着一个小模型。比如语音唤醒——为什么你一喊“小爱同学”它就醒了？因为芯片上跑着一个轻量级的语音识别模型，功耗极低，一直在监听关键词。我曾经帮一个客户优化过智能门锁的人脸识别模型，要求是：在STM32上跑，识别时间不超过200ms，功耗不能超过50mW。说实话，那段时间头发掉了不少。
自动驾驶
这个领域对实时性的要求极高。你想想，一辆车以120km/h的速度行驶，每延迟100ms，刹车距离就多出3米多。所以车载的感知模型必须在毫秒级内完成推理。Jetson Orin、TI的TDA4这些芯片就是干这个的。我记得有一次调试一个车道线检测模型，在Jetson Xavier上跑得好好的，一上实车就各种抖动——后来发现是摄像头帧率和模型推理帧率没对齐。这种坑，没经历过的人真的想不到。
工业视觉
工业场景其实是最适合嵌入式AI的。产线上的缺陷检测、零件分拣、二维码识别，这些任务重复性高、环境可控，而且对成本敏感。用一块几百块的瑞萨或者树莓派，就能替代原来几千块的工控机方案。我有个朋友做PCB板缺陷检测，用树莓派4B跑一个MobileNetV2，准确率做到98%以上，成本只有原来的十分之一。
个人建议：如果你是刚入门，先从智能家居或者工业视觉入手。自动驾驶的门槛太高，涉及功能安全，一个bug可能就是人命关天的事。
1.3 主流芯片平台对比
市面上做嵌入式AI的芯片平台很多，我挑四个最有代表性的说说。它们各有各的脾气，选型的时候一定要想清楚自己的需求。
| 平台 | 算力 | 功耗 | 价格 | 典型应用 | 我的评价 |
|---|---|---|---|---|---|
| STM32 | 极低（~0.1 TOPS） | 极低（<100mW） | 极低（$2-$20） | 传感器数据处理、关键词唤醒 | 适合极轻量级模型，CMSIS-NN是神器 |
| 瑞萨（RZ/V系列） | 中等（~1 TOPS） | 低（~1W） | 中等（$20-$50） | 工业视觉、人脸识别 | DRP-AI加速器很香，但生态一般 |
| 树莓派（4B/5） | 中等（~0.5 TOPS） | 中等（~5W） | 低（$35-$75） | 原型验证、教育、轻量级视觉 | 生态最好，但跑大模型吃力 |
| Jetson（Nano/Orin） | 高（~40 TOPS） | 高（~15W） | 高（$129-$1999） | 自动驾驶、机器人、复杂视觉 | 性能怪兽，但功耗和价格也感人 |
STM32系列
如果你要做超低功耗的AI应用，STM32是绕不开的选择。它内置了CMSIS-NN库，专门针对ARM Cortex-M内核做了优化。我做过一个项目，在STM32L4上跑一个2层的小型CNN，用来做震动信号的异常检测，功耗只有几十微安。但要注意——STM32的Flash和RAM都极小，模型参数超过几百KB就基本没戏了。
瑞萨RZ/V系列
瑞萨的RZ/V系列内置了DRP-AI（动态可配置处理器），这东西挺有意思。它不是传统的CPU或者GPU，而是一种可重构的硬件加速器。我在调试RZ/V2L的时候，发现它的AI推理功耗只有1W左右，但能跑MobileNet级别的模型。不过说实话，瑞萨的开发工具链不如NVIDIA那么成熟，文档也偏少，新手可能会有点痛苦。
树莓派
树莓派其实不算严格意义上的嵌入式设备——它跑的是Linux系统，功耗也比MCU高不少。但为什么我还要提它？因为它是原型验证的最佳平台。你可以在树莓派上快速跑通一个模型，然后再移植到更小的芯片上。我个人习惯先用树莓派做算法验证，没问题了再往STM32或者瑞萨上搬。这样能省很多调试时间。
Jetson系列
Jetson是NVIDIA的嵌入式AI平台，内置了GPU和TensorRT加速器。如果你要做自动驾驶或者机器人这种高算力需求的应用，Jetson Orin几乎是唯一的选择。但要注意——Jetson的功耗不低，Nano都要5W，Orin更是能到15W以上。散热问题一定要提前考虑。我见过有人把Jetson Orin塞进一个小盒子里，结果跑不到10分钟就过热降频了。
避坑指南：选芯片平台的时候，不要只看算力。我曾经选了一款算力很高的芯片，结果发现它的AI框架只支持INT8量化，而我的模型在INT8下精度掉了5个点。最后不得不换平台，项目延期了一个月。所以，一定要先确认你的模型在目标平台上的精度表现。
1.4 小结
嵌入式AI这个领域，说白了就是“带着镣铐跳舞”。你要在有限的资源下，把模型的性能压榨到极致。不同的应用场景、不同的芯片平台，都有各自的脾气和秉性。
我个人觉得，入门的关键不是追求最新的芯片或者最大的模型，而是先把一个简单的模型在一个小芯片上跑通、跑稳。比如用STM32跑一个手势识别，或者用树莓派跑一个人脸检测。等你把这些基础打牢了，再去挑战更复杂的场景。
下一章，我会带大家手把手搭建嵌入式AI的开发环境。到时候咱们再细聊。
课后思考：你手头有什么项目想用嵌入式AI来实现？不妨先想想——你的应用对实时性、功耗、成本的要求分别是多少？这决定了你该选哪款芯片。