01
深度视觉开发工具链全景概览
什么是深度视觉开发工具链、主流工具链对比(OpenCV、TensorRT、ONNX Runtime、OpenVINO)、工具链选型策略。
概览选型
02
SDK基础概念与架构
SDK的定义与作用、深度视觉SDK的典型架构(采集层、预处理层、推理层、后处理层)、SDK与工具链的关系。
架构概念
03
开发环境搭建(一)
Ubuntu系统安装与配置、NVIDIA驱动与CUDA安装、cuDNN库配置、常见环境问题排查。
UbuntuCUDA
04
开发环境搭建(二)
Docker容器化环境搭建、使用NVIDIA Docker进行GPU加速、Dockerfile编写最佳实践。
DockerGPU
05
OpenCV基础入门
OpenCV简介与安装、图像读取/显示/保存、图像色彩空间转换、图像几何变换。
OpenCV基础
06
OpenCV图像预处理实战
图像滤波(均值/高斯/中值)、边缘检测(Canny/Sobel)、形态学操作(腐蚀/膨胀/开闭运算)。
滤波边缘
07
OpenCV高级特性
图像直方图与均衡化、模板匹配、轮廓检测与绘制、特征点检测(SIFT/ORB)。
直方图特征
08
深度学习模型基础
神经网络基本概念、卷积神经网络(CNN)核心组件、常用模型架构(ResNet/YOLO/MobileNet)简介。
CNN架构
09
模型训练与导出
使用PyTorch训练一个简单分类模型、模型保存与加载、导出为ONNX格式。
PyTorchONNX
10
ONNX Runtime入门
ONNX Runtime简介与安装、加载ONNX模型进行推理、输入输出张量处理、性能调优基础。
ONNX推理
11
TensorRT基础(一)
TensorRT简介与安装、模型优化原理(层融合/精度校准/内存优化)、使用trtexec工具转换模型。
TensorRT优化
12
TensorRT基础(二)
使用Python API构建TensorRT引擎、动态形状支持、INT8量化实战。
PythonINT8
13
TensorRT高级优化
多流推理与并发、DLA(深度学习加速器)使用、TensorRT Profiler性能分析。
并发Profiler
14
OpenVINO入门
OpenVINO工具套件简介、模型优化器(Model Optimizer)使用、推理引擎(Inference Engine)API调用。
OpenVINOMO
15
OpenVINO实战
在Intel CPU/集成GPU上部署YOLOv5、异构执行(Hetero Plugin)、性能调优技巧。
YOLOv5异构
16
深度视觉SDK架构设计
SDK分层设计原则、模块解耦与接口定义、配置管理(YAML/JSON)、日志系统设计。
架构解耦
17
SDK核心模块实现(一)
图像采集模块(Camera/Video/Image)、预处理流水线设计、数据增强集成。
采集预处理
18
SDK核心模块实现(二)
推理引擎封装(支持多后端切换)、模型管理(热加载/版本控制)、后处理模块(NMS/结果解析)。
推理后处理
19
SDK性能优化
内存池与零拷贝技术、异步流水线(Producer-Consumer模式)、多线程与线程安全、CPU/GPU负载均衡。
性能异步
20
SDK测试与质量保障
单元测试框架(pytest/gtest)、集成测试策略、性能基准测试、持续集成(CI)流水线搭建。
测试CI
21
模型部署实战(一)
使用TensorRT部署YOLOv8目标检测模型、预处理对齐、后处理实现、端到端性能测试。
YOLOv8TensorRT
22
模型部署实战(二)
使用ONNX Runtime部署ResNet分类模型、批处理推理、动态batch支持。
ResNetONNX
23
模型部署实战(三)
使用OpenVINO在边缘设备部署人脸检测模型、模型精度验证、功耗与性能平衡。
边缘人脸
24
多模型串联推理
级联模型架构设计(检测+跟踪+识别)、数据流管理、同步与异步策略。
级联数据流
25
视频流分析SDK开发
视频解码(FFmpeg/硬件解码)、帧率控制与丢帧策略、多路视频并发处理。
视频FFmpeg
26
边缘计算部署
Jetson平台部署实战(JetPack SDK)、树莓派+Intel神经计算棒部署、模型压缩(剪枝/蒸馏/量化)。
Jetson压缩
27
云端部署方案
使用Triton Inference Server进行模型服务化、gRPC/REST API接口设计、负载均衡与自动扩缩容。
TritongRPC
28
工具链与SDK集成实战
从数据标注到模型部署全流程打通、使用MLflow进行实验管理、使用DVC进行数据版本控制。
MLflowDVC
29
常见问题与调试技巧
模型精度下降排查、内存泄漏检测、性能瓶颈定位、日志分析与告警。
调试排查
30
项目实战:智能安防监控系统
需求分析、系统架构设计、模块开发与集成、部署与运维、项目总结与经验分享。
安防实战