一、嵌入式视觉概述
大家好，我是你们的讲师。在正式开始之前，我想先聊聊「嵌入式视觉」这个概念。说实话，我第一次接触这个词是在十年前做安防摄像头项目的时候。那时候大家还叫它「智能摄像头」，后来才慢慢统一成嵌入式视觉。
嵌入式视觉，说白了就是让嵌入式设备拥有「看」的能力。它不像我们手机上的拍照功能，拍完存起来就完事了。嵌入式视觉要求设备在本地实时处理图像，做出判断，然后执行动作。嗯，这里有个关键点——「实时」和「本地」。
什么是嵌入式视觉
我个人的理解是这样的：嵌入式视觉 = 嵌入式系统 + 计算机视觉。它把摄像头、处理器和算法这三样东西塞进一个功耗、体积都受限的设备里，让它能看懂这个世界。
举个例子，你想想看，一个智能门锁为什么能认出你的脸？它里面就运行着一个嵌入式视觉系统。摄像头拍下你的脸，处理器跑一个人脸识别模型，然后决定要不要开门。整个过程在设备本地完成，不需要联网。
核心特征：
- 实时性：毫秒级响应，不能卡顿
- 低功耗：电池供电的设备可能得撑几个月
- 低成本：消费级产品对成本极其敏感
- 小型化：塞进一个摄像头模组里
我在项目中遇到过很多次，客户说「这个功能在PC上跑得好好的，怎么到板子上就不行了？」原因很简单——PC上有强大的GPU和无限的电量，而嵌入式设备什么都没有。所以嵌入式视觉的难点，从来不是算法本身，而是怎么把算法塞进一个「小身板」里。
嵌入式视觉的应用领域
嵌入式视觉的应用场景，说实话比大多数人想象的要广得多。我挑三个最典型的领域来讲。
安防领域
安防是嵌入式视觉最早落地的领域之一。从早期的移动侦测，到现在的结构化分析，安防摄像头越来越「聪明」。
- 人脸识别门禁：我做过一个项目，客户要求在0.3秒内完成人脸识别，误识率低于百万分之一。嗯，这个指标在PC上不难，但在一个功耗只有2W的芯片上，折腾了我整整两个月。
- 行为分析：检测人员闯入、物品遗留、区域拥挤等。我曾经踩过一个坑——把检测阈值设得太高，结果有人翻墙都没报警。后来我学乖了，阈值一定要留余量。
- 车牌识别：停车场出入口的摄像头，识别车牌并控制道闸。这个场景对光照变化要求很高，白天黑夜得自适应。
自动驾驶
自动驾驶可能是嵌入式视觉最「硬核」的应用。一辆车上可能有十几个摄像头，每个都在实时处理图像。
- 车道线检测：告诉车子「你该走哪条道」
- 障碍物检测：识别行人、车辆、路障等
- 交通标志识别：看懂限速牌、红绿灯
我记得有一次调试一个ADAS（高级驾驶辅助系统）项目，车子在隧道里突然急刹车。查了半天，原来是隧道口的强光导致模型误检。这个教训让我明白——嵌入式视觉的鲁棒性，比精度更重要。
工业质检
工业质检是嵌入式视觉的「新战场」。以前都是用工业相机+PC的方案，现在越来越多的产线开始用嵌入式方案。
- 表面缺陷检测：检测手机屏幕的划痕、气泡
- 尺寸测量：测量零件的长宽高是否合格
- 字符识别：读取产品上的生产批号
工业场景有个特点——环境可控。光照、角度、背景都是固定的，这反而降低了算法难度。但工业场景对稳定性要求极高，7×24小时不能掉链子。我曾经因为一个内存泄漏问题，导致产线停了半天，被老板骂得狗血淋头。
嵌入式视觉系统的典型架构
一个完整的嵌入式视觉系统，通常由三部分组成：传感器、处理器、算法。这三者缺一不可，而且需要紧密配合。
我的经验：很多初学者只关注算法，觉得模型好就万事大吉。其实传感器和处理器选型同样重要，甚至更重要。选错了传感器，再好的算法也白搭。
传感器（摄像头模组）
传感器是系统的「眼睛」。它把光信号转换成电信号，然后输出图像数据。
| 参数 | 说明 | 常见值 |
|---|---|---|
| 分辨率 | 图像的像素数量 | 200万~1200万像素 |
| 帧率 | 每秒采集的图像数 | 30fps~60fps |
| 接口 | 与处理器的连接方式 | MIPI、USB、以太网 |
| 感光度 | 对光线的敏感程度 | ISO 100~6400 |
选传感器的时候，我一般会先看接口。MIPI接口的传感器适合嵌入式平台，USB摄像头适合快速原型验证。分辨率不是越高越好，分辨率越高，数据量越大，处理器的负担就越重。
处理器（计算平台）
处理器是系统的「大脑」。它负责运行算法，处理图像数据。
- MCU：适合简单的视觉任务，比如移动侦测。功耗极低，但算力有限。
- ARM Cortex-A系列：适合中等复杂度的任务，比如人脸识别。我常用的方案是RK3588、树莓派。
- NPU/GPU：适合深度学习模型推理。比如华为昇腾、英伟达Jetson系列。
- FPGA：适合对延迟要求极高的场景，比如工业检测。但开发难度大，成本高。
避坑指南：我曾经选过一个号称「4TOPS算力」的NPU芯片，结果实际跑模型的时候，因为内存带宽不够，帧率只有标称值的1/3。所以选处理器不能只看算力，还要看内存带宽、DDR容量、ISP能力等。
算法（视觉模型）
算法是系统的「灵魂」。它决定了系统能看懂什么、看懂多少。
嵌入式视觉的算法，通常需要经过「压缩」才能部署到设备上。常见的压缩手段包括：
- 模型量化：把FP32的模型转成INT8，体积缩小4倍，速度提升2~4倍
- 模型剪枝：去掉不重要的网络连接，减少计算量
- 知识蒸馏：用大模型教小模型，保持精度的同时减小体积
嗯，这里要特别强调一下——模型量化是嵌入式部署的「必修课」。我后面会花大量篇幅来讲这个，因为它是整个课程的核心。
知识体系总览
为了让大家对本章内容有个整体认识，我画了一张图。这张图展示了嵌入式视觉系统的核心逻辑：从传感器采集图像，到处理器运行算法，再到输出结果。
这张图把整个嵌入式视觉系统的脉络理清楚了。传感器采集数据，处理器运行算法，最终输出结果。而部署流程中的模型量化、剪枝、蒸馏，就是我们后面要重点攻克的技术难点。
好了，第一章的内容就到这里。嵌入式视觉这个概念，说白了就是让设备「看懂」世界。它涉及传感器、处理器、算法三个环节，每个环节都有坑，也都有技巧。后面的课程，我会带着大家一步步把这些坑填平。
公众号:蓝海资料掘金营，微信deep3321