📘 嵌入式视觉感知
从零到量产实战
🎯
30章 · 量产级
1
视觉感知概述
导论
嵌入式视觉定义、安防/工业/自动驾驶，技术栈与学习路径规划
2
硬件平台选型
RK3588/Jetson
瑞芯微、英伟达、算能对比，TOPS/内存/带宽解读
3
开发环境搭建
工具链
交叉编译、系统烧录、SSH远程、SDK验证
4
图像采集与预处理
MIPI/USB
摄像头驱动、RAW/YUV/RGB、ISP调优
5
OpenCV基础与优化
NEON
OpenCV-Mobile移植、resize/cvtColor/滤波、NEON加速
6
深度学习基础回顾
CNN
卷积/池化/全连接、损失函数、过拟合与正则化
7
模型轻量化技术
INT8/剪枝
剪枝、蒸馏、量化(TensorRT/RKNN/NCNN)
8
目标检测算法选型
YOLO
YOLOv5/v8/v10、SSD、RetinaNet对比与选型
9
模型训练与调优
mAP/FPS
数据集准备、训练脚本、超参数调优、平衡艺术
10
模型转换与部署
ONNX/RKNN
ONNX导出、RKNN/NCNN转换、精度校准、DRAM分析
11
推理引擎集成
API调用
RKNN/NCNN API、张量处理、多模型流水线
12
多线程与异步处理
线程池
生产者-消费者、帧同步、CPU/GPU负载均衡
13
视频流处理
RTSP/H264
RTSP/RTMP拉流、硬解码、跳帧、码率自适应
14
图像预处理加速
RGA/VDSP
仿射变换、颜色空间、归一化硬件加速
15
后处理算法优化
NMS
NMS C++优化、Anchor解码、结果过滤排序
16
系统性能分析
Profiling
perf/gprof、CPU/GPU/NPU监控、内存泄漏检测
17
端侧模型更新
OTA
OTA升级、模型热加载、版本回滚、AB分区
18
多模态融合
RGB+Depth
可见光+红外、RGB+Depth、时序光流融合
19
目标跟踪算法
DeepSORT
DeepSORT、ByteTrack移植、ID分配策略
20
语义分割与实例分割
SegFormer
SegFormer/YOLACT轻量化部署、车道线检测
21
关键点检测
姿态估计
人体关键点HRNet、手势关键点、嵌入式实现
22
异常检测
工业缺陷
自编码器、知识蒸馏、小样本学习策略
23
系统稳定性设计
看门狗
看门狗、异常重启、日志系统、掉电保护
24
安全与加密
AES/RSA
模型加密、TLS、安全启动、防逆向
25
量产测试
HIL
产测工具、硬件在环、老化测试、良率提升
26
性能调优实战
算子融合
算子融合、内存复用、异步DMA、Cache一致性
27
功耗管理
DVFS
DVFS调优、休眠唤醒、功耗模型
28
系统集成
Modbus/MQTT
PLC通信、MQTT上报、Web后台对接
29
案例实战1：智能安防门禁
人脸
人脸检测+活体检测+口罩识别
30
案例实战2：工业质检分拣
缺陷+OCR
缺陷检测+OCR+机械臂联动