实时目标检测模型部署实战 - 课程目录

课程导论与部署全景概览

什么是模型部署？为什么需要实时检测？部署的挑战与全流程概览。

环境准备 Linux · Docker

Linux基础、Docker容器化、NVIDIA驱动与CUDA安装、cuDNN配置。

模型选型轻量化

轻量化模型对比（YOLOv8n、MobileNet-SSD、NanoDet）、精度与速度权衡。

ONNX基础中间表示

什么是ONNX？PyTorch模型转ONNX、ONNX算子兼容性检查。

ONNX实战优化

动态Batch处理、多输出节点处理、ONNX Simplifier优化模型。

TensorRT基础 NVIDIA

TensorRT核心概念（Engine、Builder、Context）、精度模式（FP32/FP16/INT8）。

TensorRT实战 Engine

ONNX转TensorRT Engine、动态Shape配置、Engine序列化与反序列化。

INT8量化校准

校准数据集准备、校准器选择（Entropy/Percentile）、量化后精度评估。

OpenVINO基础 Intel

OpenVINO架构、模型优化器（MO）、推理引擎（IE）API。

OpenVINO实战 IR

PyTorch模型转IR、异构执行（CPU+GPU）、性能调优。

NCNN基础移动端

NCNN框架特点、模型转换（PyTorch/ONNX转NCNN）、param与bin文件解析。

NCNN实战 Vulkan

Vulkan GPU加速、多线程优化、内存池管理。

TFLite基础 Google

TFLite格式、转换工具、Delegate机制（GPU/NNAPI）。

TFLite实战 Edge TPU

模型量化（FP16/INT8）、Edge TPU编译、Android端部署。

推理框架对比选型

TensorRT vs OpenVINO vs NCNN vs TFLite，选型指南。

服务端部署 Flask/FastAPI

Flask/FastAPI搭建推理服务、RESTful API设计、并发处理。

边缘端部署 Jetson

Jetson Nano配置、DeepStream SDK、多路视频流处理。

移动端部署 Android

Android NDK集成、JNI调用、CameraX实时预览。

Web端部署 TensorFlow.js

TensorFlow.js、ONNX Runtime Web、WebAssembly加速。

视频流处理 OpenCV

OpenCV读取视频、多线程解码、帧队列管理。

预处理优化加速

Resize/归一化加速、颜色空间转换、仿射变换。

后处理优化 NMS

NMS加速（CUDA/CPU）、结果过滤、可视化绘制。

性能分析 Profiling

Profiling工具（Nsight/NVTX）、延迟与吞吐量、瓶颈定位。

模型加速技巧算子融合

算子融合、内存复用、异步推理、流水线并行。

多模型串联 Pipeline

检测+跟踪+分类串联、Pipeline设计、数据同步。

模型更新热加载

热加载机制、版本管理、A/B测试。

监控与日志 Prometheus

Prometheus指标收集、Grafana可视化、日志结构化。

安全与隐私加密

模型加密、输入校验、对抗攻击防御。

实战项目一：智能安防人车检测

智能安防系统（人车检测+跟踪+报警）。

实战项目二：工业缺陷检测小目标

工业缺陷检测（小目标检测+数据增强+部署）。