边缘端实时视频流AI分析系统 · 课程目录

边缘AI概述概览

边缘计算 vs 云计算 · 安防/工业/零售场景 · 技术栈总览

边缘计算应用场景

硬件平台选型对比

Jetson Nano / RK3588 / 树莓派 / Intel NUC · TOPS/功耗/选型建议

边缘硬件性能指标

开发环境搭建踩坑

JetPack/Ubuntu烧录 · Miniconda · OpenCV+TensorRT · 常见坑

环境配置排坑

视频流基础编码

H.264/H.265 · MP4/RTSP/RTMP · OpenCV读取视频流

视频编码封装

OpenCV图像处理预处理

缩放/色彩空间/ROI提取/滤波增强 · 关键预处理

OpenCV图像增强

RTSP/RTMP拉流实战网络流

FFmpeg+OpenCV拉流 · 丢包重连 · 多路并发管理

帧率控制与同步时序

固定采样/时间戳对齐/跳帧策略 · 处理与采集同步

深度学习模型选型轻量

YOLOv8n/s/m · MobileNet · DeepLabV3 · 边缘端首选

目标检测轻量化

模型转换与量化(上) ONNX

ONNX导出 · TensorRT加速 · FP16/INT8量化 · 精度权衡

量化TensorRT

模型转换与量化(下) 动手

转换YOLOv8 · 编写TensorRT引擎 · 验证推理结果

实战推理引擎

TensorRT引擎封装优化

C++/Python混合编程 · 推理类 · 显存池 · 批处理

封装显存管理

多线程流水线架构解耦

生产者-消费者 · 采集/预处理/推理/后处理线程

多线程流水线

共享内存与零拷贝加速

避免CPU/GPU频繁拷贝 · PyTorch Tensor共享 · CudaMemcpy

零拷贝共享内存

目标检测后处理 NMS

CUDA加速NMS · 置信度过滤 · 锚框解码

目标跟踪入门 SORT

SORT/DeepSORT · 卡尔曼滤波 · 匈牙利匹配 · 轻量实现

目标跟踪卡尔曼

多目标跟踪实战 YOLO+DeepSORT

实时跟踪 · ID分配 · 轨迹管理 · 性能调优

多目标DeepSORT

行为识别基础骨骼点

OpenPose/PoseNet · 时空图卷积 · 动作识别

姿态估计ST-GCN

简单行为识别实现安防

摔倒/区域入侵/徘徊检测 · 安防刚需场景

摔倒检测入侵

人脸识别系统 MTCNN+FaceNet

人脸检测/特征提取 · 人脸库管理 · 实时比对

人脸识别MTCNN

车牌识别实战 LPRNet

轻量车牌识别 · 字符分割矫正 · 夜间补光优化

车牌识别LPRNet

视频流推流与可视化 FFmpeg

推流RTMP · 绘制检测框/标签 · 结果可视化

推流可视化

数据持久化存储

SQLite/InfluxDB · 告警事件记录 · 视频片段截取

数据库告警

Web端实时展示 Flask/FastAPI

轻量后端 · WebSocket推送 · Canvas渲染

MQTT消息推送云端通信

边缘端与云端通信 · 告警发布 · 订阅规则

MQTT物联网

系统性能调优 Profiling

CPU/GPU监控 · 内存泄漏排查 · NVIDIA Nsight

模型部署与OTA更新远程

远程更新模型 · 版本管理 · A/B测试策略

边缘集群管理多设备

多设备管理 · 任务分发 · 日志收集(ELK轻量替代)

安全与隐私加密

视频流TLS/SSL · 模型加密 · 数据脱敏(人脸模糊)

项目实战·智慧安防(一) 架构

需求分析 · 系统架构 · 模块划分 · 接口定义

智慧安防设计

项目实战·智慧安防(二) 上线

完整代码 · 联调测试 · 部署上线 · 性能评估