1、边缘AI系统概述：定义、特点、应用场景与挑战
各位同学好，我是你们这门课的主讲。今天咱们聊聊边缘AI系统到底是个什么东西。
说实话，我第一次接触边缘AI这个概念是在2018年。那时候大家还在拼命把模型往云上塞，觉得算力不够就上GPU集群。但后来我发现，很多场景根本等不起那几百毫秒的网络延迟。嗯，这就是边缘AI诞生的核心原因。
1.1 什么是边缘AI系统？
边缘AI，说白了就是在靠近数据源的地方做推理，而不是把数据传到云端再处理。我个人的理解是：把智能计算从数据中心搬到设备端。
举个例子，你家的智能摄像头识别陌生人。如果每次都要上传到云端分析，网络一断就废了。但如果在摄像头本地就能做识别，那体验完全不一样。
核心定义：边缘AI系统是指在边缘计算节点（如嵌入式设备、IoT网关、移动终端）上部署和运行人工智能算法的系统。它强调低延迟、高隐私、低带宽依赖。
1.2 边缘AI系统的特点
我总结下来，边缘AI有四个最显著的特点。你想想看，这些特点其实都是被硬件逼出来的。
- 资源受限：内存小（通常几十MB到几GB）、算力弱（ARM Cortex-M/A系列为主）、功耗敏感（电池供电）。
- 实时性要求高：很多场景要求毫秒级响应。我在做工业质检项目时，检测延迟超过50ms就会被产线投诉。
- 网络依赖度低：边缘设备经常处于弱网或无网环境。我曾经在偏远矿区部署设备，4G信号时有时无，全靠本地推理撑着。
- 隐私与安全：数据不出设备，这是医疗、金融场景的硬性要求。
| 特性 | 云端AI | 边缘AI |
|---|---|---|
| 算力 | 无限（相对） | 受限（几TOPS到几十TOPS） |
| 内存 | GB~TB级 | MB~GB级 |
| 延迟 | 100ms~数秒 | 1ms~50ms |
| 功耗 | 数百瓦~千瓦 | 毫瓦~数十瓦 |
| 网络依赖 | 强依赖 | 弱依赖 |
1.3 典型应用场景
这些年我接触过的边缘AI项目，基本覆盖了下面这些领域。每个场景对内存和带宽的要求都不一样，后面课程我们会逐个拆解。
- 智能安防：人脸识别、行为检测。摄像头端做特征提取，只上传告警信息。带宽节省90%以上。
- 工业视觉：产品缺陷检测。我做过一个PCB板检测项目，模型压缩到2MB才能在嵌入式设备上跑起来。
- 自动驾驶：目标检测、路径规划。L4级自动驾驶每秒处理几十帧图像，内存带宽是最大瓶颈。
- 智能家居：语音唤醒、手势识别。要求极低功耗，通常用MCU级别的芯片。
- 医疗边缘：心电图分析、CT影像辅助诊断。数据不能出医院，必须本地处理。
我的经验：选场景时，先问三个问题——延迟能不能忍？网络稳不稳？数据能不能出设备？如果有一个答案是「不能」，那边缘AI就是你的菜。
1.4 边缘AI面临的核心挑战
好了，前面说了这么多好处，现在该泼点冷水了。边缘AI不是万能的，它有自己的硬伤。我踩过的坑，今天先给大家列出来。
1.4.1 内存瓶颈
这是最要命的问题。一个ResNet-50模型大概100MB，但很多边缘设备的内存只有128MB甚至更少。你想想看，操作系统占掉一半，留给模型的空间就几十MB。我曾经在STM32H7上跑轻量级模型，内存只剩64KB可用，那叫一个捉襟见肘。
1.4.2 带宽限制
这里的带宽有两个层面：一是芯片内部的数据带宽（DDR到NPU），二是网络带宽。内部带宽不够，模型推理就卡在数据搬运上。我见过一个项目，模型算力只用了30%，但内存带宽跑满了，推理速度死活上不去。
1.4.3 功耗与散热的矛盾
算力越高，功耗越大。但边缘设备往往是被动散热，没有风扇。我做过一个户外设备，夏天外壳温度能到70度，芯片直接降频。嗯，这时候再好的算法也白搭。
1.4.4 模型部署的碎片化
不同芯片厂商的推理框架不兼容。高通有SNPE，联发科有NeuroPilot，瑞芯微有RKNN。你为一个平台优化的模型，换个芯片就得重来。这问题我到现在也没看到完美的解决方案。
避坑指南：我曾经在一个项目里，为了追求极致精度，选了一个大模型。结果部署到设备上，推理一次要3秒，内存还爆了。后来老老实实做模型剪枝和量化，才把延迟降到100ms以内。记住：边缘AI的第一原则是「能跑起来」，精度可以慢慢优化。
1.5 本章小结
边缘AI系统，说白了就是在资源受限的设备上做智能计算。它的核心矛盾是：有限的硬件资源 vs 不断增长的AI模型复杂度。后面的29节课，我们会围绕这个矛盾，从内存优化、带宽优化、模型压缩、硬件选型等角度，给出具体的解决方案。
下一章，我会带大家深入分析边缘设备的内存层次结构。你想想看，为什么同样是4GB内存，有的设备跑模型快，有的就慢？这里面门道可多了。
好，今天就到这里。有什么问题，咱们课后交流。