1、边缘计算与视觉AI概述

大家好,我是你们的讲师。在嵌入式视觉这个领域摸爬滚打了十几年,踩过的坑比走过的路还多。今天咱们聊聊边缘计算和视觉AI,这是整个课程的基石。

说实话,我第一次接触边缘计算是在一个工业质检项目里。客户要求实时检测流水线上的瑕疵,网络延迟却总是几百毫秒。那时候我就意识到——有些事,必须得在本地干。

边缘计算概念

边缘计算,说白了就是把计算能力从云端拉到数据产生的地方。你想想看,摄像头拍到的画面,如果非要传到云端处理,再等结果回来,黄花菜都凉了。

边缘计算的核心思想就三点:

  • 就近处理:数据在源头就被分析,不用长途跋涉
  • 低延迟:毫秒级响应,实时性有保障
  • 隐私安全:敏感数据不出本地,合规性更好

我在一个智慧安防项目里就吃过亏。当时把所有视频流都往云上送,结果带宽爆了,延迟飙到3秒。后来改成边缘端先做人脸检测,只上传关键帧,问题才解决。

边缘AI vs 云端AI

很多人问我:边缘AI和云端AI到底怎么选?我的回答是:看场景。

对比维度 边缘AI 云端AI
延迟 毫秒级 百毫秒到秒级
带宽需求
算力 受限(几TOPS) 无限(数百TOPS)
模型复杂度 轻量级模型 大模型
隐私性
成本 设备成本高 带宽和服务器成本高

举个例子。你做一个智能门锁,人脸识别必须在100毫秒内完成。这时候云端AI就不靠谱了——网络抖动一下,门就开不了。边缘AI才是正解。

但反过来,如果你做的是海量数据的模型训练,那必须上云。边缘设备那点算力,训练一个ResNet得等到猴年马月。

我的经验之谈:实际项目中,往往是边缘+云协同。边缘做实时推理,云端做模型更新和复杂分析。这叫「端云协同」,后面课程会详细讲。

典型边缘设备介绍

市面上边缘设备很多,我挑三个最有代表性的说说。这三个也是咱们课程会用到的主力设备。

Jetson Nano

NVIDIA家的明星产品。472 GFLOPS的算力,跑个MobileNet-SSD轻轻松松。我最早用它做智能小车,实时避障效果不错。

  • GPU:128核Maxwell架构
  • CPU:4核Cortex-A57
  • 内存:4GB LPDDR4
  • 功耗:5W-10W
  • 价格:约1000元

避坑指南:Jetson Nano的散热是个问题。我曾经连续跑推理8小时,温度飙到85度,直接降频。建议加装主动散热风扇。

树莓派

这玩意儿大家应该不陌生。虽然算力只有Jetson Nano的十分之一,但胜在便宜、生态好。做原型验证特别方便。

  • CPU:4核Cortex-A72
  • 内存:2GB/4GB/8GB
  • GPU:VideoCore VI
  • 功耗:3W-5W
  • 价格:约300元

说实话,树莓派跑深度学习有点吃力。我试过在上面跑YOLOv3,帧率只有0.5FPS,基本没法用。但跑OpenCV的传统算法,或者轻量级的TFLite模型,还是可以的。

RK3588

国产芯片的骄傲。瑞芯微的旗舰产品,6TOPS的NPU算力,比Jetson Nano还强。我最近一个项目就用它做边缘计算盒子,效果出奇的好。

  • CPU:4核Cortex-A76 + 4核Cortex-A55
  • NPU:6TOPS
  • 内存:8GB/16GB LPDDR4X
  • 功耗:10W-15W
  • 价格:约800元

注意:RK3588的NPU编程接口和NVIDIA的CUDA完全不同。如果你习惯了CUDA,切换到RKNN工具链需要适应一段时间。我当初就花了整整一周才把模型跑通。

课程项目概览

光说不练假把式。咱们这门课安排了三个实战项目,覆盖最常见的视觉应用场景。

  1. 智能门禁系统:人脸检测+识别,部署在Jetson Nano上。你会学到如何用OpenCV做人脸对齐,用深度学习模型做特征提取。
  2. 工业缺陷检测:用树莓派+USB摄像头,实时检测PCB板上的焊点缺陷。重点训练轻量级分类模型,并部署到边缘端。
  3. 智能交通监控:在RK3588上跑车辆检测和跟踪。你会接触到多目标跟踪算法,以及NPU加速的实战技巧。

每个项目我都会带着你们从数据采集、模型训练、模型转换,一直做到边缘端部署。嗯,这条路我走过很多遍,知道哪里容易摔跤。

课程目标:学完这门课,你能独立完成一个边缘视觉AI项目的全流程。从选型、开发到部署,心里有数。

好了,第一章就到这里。下一章咱们开始搭建开发环境,把OpenCV和深度学习框架装起来。到时候我会分享一些我踩过的坑,保证让你少走弯路。