ONNX导出与Yolo模型跨平台部署实战 · 课程目录

课程导论与环境准备 ONNX/Yolo

ONNX简介 · Yolo系列概述 · 跨平台概念 · 搭建Python/CUDA/cuDNN/PyTorch环境

YoloV5训练与导出源码·训练

YoloV5源码结构 · 数据集准备 · 训练评估 · 导出ONNX格式

ONNX模型结构解析计算图

计算图 · 节点与张量 · Netron可视化 · 理解输入输出格式

ONNX模型优化折叠·量化

常量折叠 · 节点融合 · FP16/INT8量化 · onnx-simplifier简化

ONNX Runtime基础 CPU/GPU

ONNX Runtime简介 · 安装配置 · Python API · CPU与GPU推理

ONNX Runtime高级多会话

多会话管理 · IO绑定 · 自定义算子 · 性能Profiling

TensorRT基础引擎转换

TensorRT简介 · 安装配置 · ONNX转TensorRT引擎 · trtexec工具

TensorRT高级优化 INT8量化

动态形状 · INT8量化校准 · 层融合 · 多流推理

OpenVINO部署 Intel CPU/GPU

OpenVINO简介 · 模型优化器MO · 推理引擎API · Intel平台部署

NCNN部署移动端

NCNN简介 · ONNX2NCNN · Android/iOS部署 · SIMD加速

TFLite部署 Android/iOS

TFLite简介 · 模型转换 · 量化优化 · 移动端运行Yolo

CoreML部署 Apple ANE

CoreML简介 · onnx2coreml · Apple设备部署 · ANE加速

ONNX后处理·NMS 自定义节点

NMS的ONNX实现 · 自定义后处理节点 · Batch推理

YoloV8模型导出新特性

YoloV8新特性 · 训练与导出 · 与V5差异 · 多任务头处理

YoloV10模型导出 NMS-free

YoloV10架构改进 · NMS-free设计 · 导出注意事项 · 性能对比

ONNX模型安全加密·混淆

模型加密 · 混淆技术 · 防止模型窃取 · 安全推理环境

边缘设备部署 Jetson/树莓派

Jetson Nano/Orin · 树莓派 · RK3588 NPU部署

Web端部署浏览器

ONNX Runtime Web · WebGL/WebGPU加速 · 浏览器运行Yolo

服务端部署 Triton

ONNX Runtime Serving · Triton Inference Server · 负载均衡

多模型组合部署流水线

检测+跟踪+识别 · 模型间数据传递 · 异步推理

性能调优内存/吞吐

内存优化 · 延迟优化 · 吞吐量优化 · 批处理策略

精度验证误差分析

ONNX与原始模型精度对比 · 误差分析 · 回归测试

自定义算子开发 Plugin

ONNX自定义算子 · TensorRT Plugin · NCNN层实现

动态形状处理 Resize/Padding

动态Batch · 动态输入尺寸 · Resize与Padding策略

视频流部署 RTSP/RTMP

RTSP/RTMP流处理 · 帧率控制 · 多路视频并行推理

模型版本管理 A/B测试

模型注册中心 · 版本回滚 · A/B测试 · 模型监控

CI/CD集成自动化

自动化模型导出 · 自动化测试 · 自动化部署流水线

常见问题排查 Debug

ONNX导出失败 · 推理结果错误 · 性能瓶颈 · 内存泄漏

实战项目一：智能安防行人+车牌

行人检测+车牌识别 · 端到端部署

实战项目二：工业质检缺陷检测

缺陷检测 · 从训练到边缘部署全流程