轻量化语义分割 · 嵌入式部署实战

01课程导学与模型选型

为什么选择轻量化模型？MobileNetV3 vs ShuffleNetV2 vs PP-LiteSeg 对比分析。

02开发环境搭建

Ubuntu + Docker + ONNX Runtime + TensorRT 环境配置与验证。

03模型导出与ONNX转换

PyTorch模型转ONNX，解决动态轴与算子兼容性问题。

04ONNX模型优化

使用onnx-simplifier简化模型，使用onnxruntime进行推理验证。

05TensorRT基础入门

TensorRT安装、核心概念（Engine、Context、Binding）解析。

06TensorRT模型转换

将ONNX模型转换为TensorRT Engine，FP16与INT8量化配置。

07INT8量化实战

校准数据集制作、熵校准与最小化均方误差校准方法。

08TensorRT动态形状处理

优化动态输入尺寸，避免显存浪费与性能抖动。

09C++部署接口封装

编写统一的模型推理类，支持ONNX Runtime与TensorRT后端切换。

10内存与显存管理

使用内存池、显存复用技术，降低嵌入式设备资源占用。

11图像预处理优化

BGR转RGB、归一化、Resize的NEON/SSE加速实现。

12后处理加速

Argmax、颜色映射、Mask叠加的SIMD优化与OpenCV并行加速。

13模型推理流水线设计

生产者-消费者模型，多线程异步推理框架搭建。

14Jetson Nano/NX部署实战

刷机、安装JetPack、配置Max-N模式与风扇策略。

15树莓派与RK3588部署实战

交叉编译、NPU驱动安装、RKNN模型转换。

16模型剪枝与蒸馏

结构化剪枝、知识蒸馏在语义分割模型上的应用。

17模型加密与保护

AES加密模型文件，运行时解密加载，防止模型窃取。

18性能分析工具使用

NVIDIA Nsight Systems、perf、gprof定位性能瓶颈。

19端到端延迟优化

从摄像头读取到显示输出的全链路延迟分析与优化。

20多模型并行推理

同时运行分割模型与检测模型，共享显存与计算资源。

21自定义算子开发

使用TensorRT Plugin实现自定义激活函数与池化层。

22模型热更新机制

不中断服务的情况下，动态替换正在运行的模型。

23日志与监控系统

记录推理耗时、帧率、显存占用，支持远程监控。

24异常处理与容错

输入异常、显存溢出、模型加载失败的优雅处理。

25模型精度验证

在嵌入式设备上复现精度指标，对比PC端与设备端差异。

26场景适配与调优

针对不同光照、天气、分辨率场景的模型鲁棒性调优。

27嵌入式Web端展示

使用Flask/Node.js搭建轻量级Web服务，实时显示分割结果。

28项目工程化

CMake构建系统、单元测试、持续集成流水线搭建。

29综合实战：自动驾驶车道线分割

从训练到嵌入式部署全流程。

30课程总结与进阶方向

边缘计算趋势、Transformer轻量化模型、未来技术展望。