嵌入式视觉 · 多模型协同工作 · 课程目录

01

多模型协同概述

为什么需要多模型 · 安防/工业质检场景 · 课程目标与路径

概述场景

02

嵌入式视觉硬件基础

Jetson/RK3588/K210对比 · 算力功耗 · CSI/USB/SPI

硬件选型

03

轻量化模型选型

MobileNet · EfficientNet-Lite · YOLO-Nano 性能对比

模型轻量

04

模型转换与量化

TensorRT/ONNX/TFLite · FP16/INT8 量化实战

部署量化

05

多模型流水线架构

Pipeline · 生产者-消费者 · 共享内存与零拷贝

架构流水线

06

任务调度与优先级

RTOS调度 · cgroups · CPU亲和性设置

调度实时

07

模型A：YOLOv8n检测

嵌入式部署优化 · NMS后处理加速

检测YOLO

08

模型B：MobileNetV3分类

嵌入式部署 · Top-K结果筛选

分类MobileNet

09

模型C：Fast-SCNN分割

语义分割部署 · 后处理

分割SCNN

10

模型D：DeepSORT跟踪

轻量化改造 · 卡尔曼滤波 · 匈牙利匹配

跟踪DeepSORT

11

模型E：异常检测Autoencoder

重构误差 · 阈值设定 · 嵌入式部署

异常检测AE

12

多模型数据流同步

时间戳对齐 · 帧缓存池 · 丢帧处理

同步数据流

13

异构计算协同

CPU+GPU+NPU负载分配 · OpenCL/VPI

异构加速

14

内存优化与共享

CMA/ION/DMA-BUF · 跨设备共享

内存共享

15

多模型推理引擎管理

TensorRT多Context · TFLite多Interpreter

引擎管理

16

动态模型加载与卸载

按需加载 · 热替换 · 内存碎片整理

动态加载

17

多模型结果融合策略

加权投票 · 贝叶斯融合 · Dempster-Shafer

融合决策

18

场景一：智能安防

人脸检测+口罩识别+体温异常协同流水线

安防实战

19

场景二：工业质检

缺陷检测+分类分级+尺寸测量多模型协作

工业质检

20

场景三：自动驾驶辅助

车道线检测+车辆检测+行人意图预测融合

自动驾驶融合

21

场景四：智慧农业

作物检测+病害识别+生长阶段分类协同

农业AI

22

场景五：医疗影像辅助

病灶检测+良恶性分类+分割标注多模型

医疗影像

23

性能基准测试

Latency/Throughput/Power 测量方法与工具

性能基准

24

Profiling与瓶颈分析

Nsight/perf/火焰图 · CPU/GPU/NPU瓶颈定位

分析调优

25

端到端延迟优化

采集到显示全链路优化 · 减少拷贝与等待

延迟优化

26

多模型协同容错机制

模型崩溃恢复 · Fallback降级 · 看门狗

容错可靠性

27

日志与监控系统

结构化日志 · Prometheus+Grafana · 告警

监控运维

28

CI/CD持续集成部署

模型版本管理 · 自动化测试 · OTA更新

CI/CDDevOps

29

项目实战：从零搭建系统

需求分析 · 架构设计 · 编码实现 · 测试部署

实战全栈

30

课程总结与未来展望

多模态大模型嵌入式趋势 · 联邦学习 · 资源推荐

总结前沿