1、边缘计算与视觉AI概述
大家好,我是你们的讲师。在嵌入式视觉这个领域摸爬滚打了十几年,踩过的坑比走过的路还多。今天咱们聊聊边缘计算和视觉AI,这是整个课程的基石。
说实话,我第一次接触边缘计算是在一个工业质检项目里。客户要求实时检测流水线上的瑕疵,网络延迟却总是几百毫秒。那时候我就意识到——有些事,必须得在本地干。
边缘计算概念
边缘计算,说白了就是把计算能力从云端拉到数据产生的地方。你想想看,摄像头拍到的画面,如果非要传到云端处理,再等结果回来,黄花菜都凉了。
边缘计算的核心思想就三点:
- 就近处理:数据在源头就被分析,不用长途跋涉
- 低延迟:毫秒级响应,实时性有保障
- 隐私安全:敏感数据不出本地,合规性更好
我在一个智慧安防项目里就吃过亏。当时把所有视频流都往云上送,结果带宽爆了,延迟飙到3秒。后来改成边缘端先做人脸检测,只上传关键帧,问题才解决。
边缘AI vs 云端AI
很多人问我:边缘AI和云端AI到底怎么选?我的回答是:看场景。
| 对比维度 | 边缘AI | 云端AI |
|---|---|---|
| 延迟 | 毫秒级 | 百毫秒到秒级 |
| 带宽需求 | 低 | 高 |
| 算力 | 受限(几TOPS) | 无限(数百TOPS) |
| 模型复杂度 | 轻量级模型 | 大模型 |
| 隐私性 | 高 | 低 |
| 成本 | 设备成本高 | 带宽和服务器成本高 |
举个例子。你做一个智能门锁,人脸识别必须在100毫秒内完成。这时候云端AI就不靠谱了——网络抖动一下,门就开不了。边缘AI才是正解。
但反过来,如果你做的是海量数据的模型训练,那必须上云。边缘设备那点算力,训练一个ResNet得等到猴年马月。
我的经验之谈:实际项目中,往往是边缘+云协同。边缘做实时推理,云端做模型更新和复杂分析。这叫「端云协同」,后面课程会详细讲。
典型边缘设备介绍
市面上边缘设备很多,我挑三个最有代表性的说说。这三个也是咱们课程会用到的主力设备。
Jetson Nano
NVIDIA家的明星产品。472 GFLOPS的算力,跑个MobileNet-SSD轻轻松松。我最早用它做智能小车,实时避障效果不错。
- GPU:128核Maxwell架构
- CPU:4核Cortex-A57
- 内存:4GB LPDDR4
- 功耗:5W-10W
- 价格:约1000元
避坑指南:Jetson Nano的散热是个问题。我曾经连续跑推理8小时,温度飙到85度,直接降频。建议加装主动散热风扇。
树莓派
这玩意儿大家应该不陌生。虽然算力只有Jetson Nano的十分之一,但胜在便宜、生态好。做原型验证特别方便。
- CPU:4核Cortex-A72
- 内存:2GB/4GB/8GB
- GPU:VideoCore VI
- 功耗:3W-5W
- 价格:约300元
说实话,树莓派跑深度学习有点吃力。我试过在上面跑YOLOv3,帧率只有0.5FPS,基本没法用。但跑OpenCV的传统算法,或者轻量级的TFLite模型,还是可以的。
RK3588
国产芯片的骄傲。瑞芯微的旗舰产品,6TOPS的NPU算力,比Jetson Nano还强。我最近一个项目就用它做边缘计算盒子,效果出奇的好。
- CPU:4核Cortex-A76 + 4核Cortex-A55
- NPU:6TOPS
- 内存:8GB/16GB LPDDR4X
- 功耗:10W-15W
- 价格:约800元
注意:RK3588的NPU编程接口和NVIDIA的CUDA完全不同。如果你习惯了CUDA,切换到RKNN工具链需要适应一段时间。我当初就花了整整一周才把模型跑通。
课程项目概览
光说不练假把式。咱们这门课安排了三个实战项目,覆盖最常见的视觉应用场景。
- 智能门禁系统:人脸检测+识别,部署在Jetson Nano上。你会学到如何用OpenCV做人脸对齐,用深度学习模型做特征提取。
- 工业缺陷检测:用树莓派+USB摄像头,实时检测PCB板上的焊点缺陷。重点训练轻量级分类模型,并部署到边缘端。
- 智能交通监控:在RK3588上跑车辆检测和跟踪。你会接触到多目标跟踪算法,以及NPU加速的实战技巧。
每个项目我都会带着你们从数据采集、模型训练、模型转换,一直做到边缘端部署。嗯,这条路我走过很多遍,知道哪里容易摔跤。
课程目标:学完这门课,你能独立完成一个边缘视觉AI项目的全流程。从选型、开发到部署,心里有数。
好了,第一章就到这里。下一章咱们开始搭建开发环境,把OpenCV和深度学习框架装起来。到时候我会分享一些我踩过的坑,保证让你少走弯路。