第1章：边缘AI概述
大家好，我是你们这门课的老朋友。今天咱们聊聊边缘AI到底是什么，以及它为什么值得你花时间从头搭一个推理框架。
说实话，我第一次接触边缘AI是在一个工业质检项目里。当时客户要求把模型部署到产线旁边的盒子上，不能联网，延迟还得低于50毫秒。我心想，这不就是让一个小孩干大人的活吗？后来折腾了两个月，总算跑通了。嗯，从那以后我就对边缘AI有了全新的认识。
什么是边缘AI
边缘AI，说白了就是在靠近数据源头的地方做推理，而不是把数据传到云端再等结果。你想想看，摄像头拍到一张图片，直接在设备上识别出有没有缺陷，这就是边缘AI。
我个人习惯把边缘AI拆成两个词理解：
- 边缘：指离用户或设备最近的节点，比如手机、摄像头、工控机、小车上的板子
- AI：指机器学习模型的推理过程，不一定是训练，更多是跑模型做预测
所以边缘AI = 在本地设备上跑模型。就这么简单。
核心要点：边缘AI强调的是推理发生在本地，数据不出设备，结果实时返回。
边缘AI与云AI的区别
很多新手会问：为什么不直接把数据发到云端？云上算力多强啊。我在项目中遇到过类似的问题，当时团队里也有争论。我给大家列个表，一看就明白：
| 对比维度 | 边缘AI | 云AI |
|---|---|---|
| 延迟 | 毫秒级（本地处理） | 百毫秒到秒级（网络传输） |
| 带宽需求 | 低（只传结果） | 高（传原始数据） |
| 隐私安全 | 高（数据不出设备） | 低（数据上传云端） |
| 算力 | 受限（几TOPS到几十TOPS） | 强大（几百TOPS以上） |
| 功耗 | 低（几瓦到十几瓦） | 高（服务器几百瓦） |
| 网络依赖 | 不依赖（离线可用） | 必须联网 |
| 部署成本 | 单设备成本低 | 服务器+带宽成本高 |
你看，边缘AI和云AI不是谁替代谁的关系。我经常跟学员说：能本地做的就别上云，必须上云的就别硬扛。比如智能门锁的人脸识别，你总不能等云端响应再开门吧？那黄花菜都凉了。
我的经验：实际项目中，我通常采用“边缘+云”混合架构。边缘做实时推理和初步过滤，云端做复杂模型训练和二次分析。这样既保证了实时性，又保留了云端的灵活性。
边缘AI的应用场景
边缘AI的应用场景比你想象的要多得多。我挑三个最常见的说说：
1. 智能家居
你家里的智能音箱、智能摄像头、智能门锁，其实都在跑边缘AI。我记得有一次帮朋友调试一个智能猫眼，它用的是本地人脸识别，不联网也能认出家人和陌生人。这就是典型的边缘AI——隐私安全+实时响应。
- 语音唤醒（本地关键词检测）
- 人脸识别门禁
- 跌倒检测（老人看护）
- 手势控制灯光
2. 工业视觉
这是边缘AI最“赚钱”的场景之一。我在一个电子厂做过项目，产线上每分钟要检测200个电路板，有缺陷的必须立刻剔除。如果用云端，网络延迟加上排队，根本来不及。后来我们在产线旁边放了一个Jetson盒子，模型跑在本地，检测结果直接传给机械臂——整个流程不到30毫秒。
- 表面缺陷检测
- OCR字符识别
- 尺寸测量
- 产品分拣
3. 自动驾驶
这个不用我多说，你想想看，一辆时速120公里的车，如果识别障碍物还要先发到云端再等结果回来……嗯，那画面太美我不敢看。自动驾驶必须用边缘AI，而且是硬实时的那种。车载的域控制器、ADAS系统，都在本地做感知、决策和控制。
- 车道线检测
- 行人/车辆识别
- 交通标志识别
- 障碍物避让
避坑指南：我曾经在一个工业视觉项目里，一开始选了云端方案，结果产线一跑起来，网络抖动导致检测结果延迟，废品率直接飙升。后来连夜改成边缘方案，才把问题解决。所以，实时性要求高的场景，别犹豫，直接上边缘AI。
主流边缘AI芯片介绍
做边缘AI，选芯片是第一步。我这些年摸过的芯片不下十几种，挑三个最有代表性的说说：
1. NVIDIA Jetson 系列
Jetson 是边缘AI里的“大哥大”。我最早用的是 Jetson TX2，后来换到 Xavier NX，现在 Jetson Orin 系列已经很强了。它最大的优势是生态成熟——CUDA、TensorRT、DeepStream 全套工具链，从训练到部署一条龙。
- 算力：从 0.5 TOPS（Jetson Nano）到 275 TOPS（Jetson AGX Orin）
- 功耗：5W 到 75W
- 适合场景：工业视觉、机器人、自动驾驶
- 价格：几百到几千元
2. Rockchip RK3588
这是国产芯片里的“黑马”。RK3588 是瑞芯微的旗舰芯片，8核CPU + Mali GPU + 6 TOPS NPU，性价比极高。我最近一个项目就用它做边缘盒子，跑 YOLOv5 能到 30fps，功耗才十几瓦。
- 算力：6 TOPS（NPU）
- 功耗：10W 左右
- 适合场景：智能家居、安防、边缘服务器
- 价格：几百元
3. K210（Kendryte）
K210 是“小身材大能量”的代表。它只有指甲盖大小，但内置了神经网络加速器，功耗极低。我最早用 K210 做过一个手势识别的小玩具，跑一个轻量级模型，电池能用好几天。
- 算力：1 TOPS（KPU）
- 功耗：0.3W 到 1W
- 适合场景：智能家居、可穿戴设备、教育
- 价格：几十元
| 芯片 | 算力 | 功耗 | 价格 | 典型场景 |
|---|---|---|---|---|
| Jetson Orin NX | 100 TOPS | 15W-25W | 约3000元 | 自动驾驶、工业视觉 |
| RK3588 | 6 TOPS | 10W | 约500元 | 智能家居、边缘盒子 |
| K210 | 1 TOPS | 0.5W | 约50元 | 可穿戴、教育 |
选型建议：我个人习惯这样选——如果项目预算充足、对算力要求高，直接上 Jetson；如果追求性价比、国产化，RK3588 是首选；如果做低功耗、小体积的产品，K210 够用了。当然，还有华为昇腾、地平线征程、寒武纪等国产芯片，后面章节我会专门讲。
小结
这一章我们聊了边缘AI的定义、与云AI的区别、应用场景和主流芯片。说白了，边缘AI就是让模型在本地跑起来，解决实时性、隐私和带宽的问题。下一章，我会带你亲手搭建第一个边缘AI推理环境——嗯，从点亮一块开发板开始。
记住一句话：边缘AI不是云AI的替代品，而是互补品。选对场景、选对芯片，你的项目就成功了一半。
公众号:蓝海资料掘金营，微信deep3321