📘 边缘设备多模型流水线编排实战

🧩 30 章节 ⚡ 从入门到部署 🤖 边缘AI · 流水线
📅 2025 · 实战课程
01边缘计算概述
边缘计算的定义、与云计算的区别、边缘AI的应用场景(工业质检、智慧零售、自动驾驶)。
02边缘硬件选型
主流边缘设备(Jetson Nano、RK3588、树莓派)、算力评估指标(TOPS、FPS)、功耗与散热考量。
03模型轻量化技术
模型剪枝(结构化/非结构化)、权重量化(INT8/FP16)、知识蒸馏的原理与实战。
04ONNX与模型转换
ONNX格式介绍、PyTorch/TensorFlow模型转ONNX、ONNX Runtime部署。
05TensorRT加速
TensorRT简介、模型优化(层融合、精度校准)、C++/Python API部署示例。
06OpenVINO工具套件
OpenVINO架构、模型优化器(MO)、推理引擎(IE)的使用。
07TFLite与MediaPipe
TFLite模型转换、委托加速(GPU/NPU)、MediaPipe Pipeline定制。
08多模型流水线概念
什么是流水线编排、串行/并行/混合流水线、数据依赖与同步机制。
09流水线设计模式
生产者-消费者模式、管道-过滤器模式、DAG(有向无环图)调度。
10消息队列与中间件
ZeroMQ、RabbitMQ在边缘设备上的应用、数据缓冲与背压机制。
11多线程与多进程编程
Python threading/multiprocessing、GIL的影响、进程池与线程池。
12异步编程与协程
asyncio库、事件循环、协程在I/O密集型流水线中的应用。
13共享内存与零拷贝
多进程间数据共享(multiprocessing.Array/Value)、mmap零拷贝技术。
14流水线调度框架
NVIDIA DeepStream、GStreamer基础、自定义Pipeline插件开发。
15DeepStream实战
视频解码、AI推理、目标跟踪、OSD渲染的完整流水线搭建。
16GStreamer高级应用
动态Pad、Pad Probe、多路视频流合并与分流。
17模型版本管理与热更新
模型仓库设计、蓝绿部署、滚动更新策略。
18资源监控与自适应调度
CPU/GPU/内存监控、动态调整推理批次、降级策略。
19边缘-云端协同
端侧预处理+云侧大模型、联邦学习在流水线中的应用。
20安全与隐私保护
TEE(可信执行环境)、模型加密、数据脱敏。
21性能基准测试
延迟、吞吐量、功耗的测量方法、Profiling工具(NVIDIA Nsight、perf)。
22调试与日志系统
结构化日志(ELK)、分布式追踪(OpenTelemetry)、断点续传。
23容器化部署
Docker在边缘设备上的使用、docker-compose编排多服务、镜像瘦身。
24K3s轻量级Kubernetes
K3s架构、Pod调度、ConfigMap与Secret管理。
25CI/CD流水线
GitLab CI/CD、自动化测试、OTA升级。
26案例:智能安防系统
人脸检测+口罩识别+人流统计的流水线实现。
27案例:工业缺陷检测
多相机触发+多模型并行推理+结果融合。
28案例:智慧零售分析
商品识别+顾客轨迹+热力图生成。
29案例:自动驾驶感知
多传感器融合(Camera+Lidar)+多任务模型(检测+分割)。
30课程总结与展望
边缘AI趋势、异构计算(CPU+GPU+NPU)、未来挑战。