分拣机物料识别与定位 · 算法移植实战课程目录

1

01课程导论与项目全景

分拣机行业现状 · 物料识别痛点 · 算法移植全流程 · Jetson Nano/RK3588

2

02开发环境搭建

交叉编译工具链 · OpenCV编译 · ONNX Runtime · Python/C++混合编程

3

03相机选型与图像采集

USB/GigE接口 · 分辨率帧率权衡 · 触发模式 · BGR/RGB/YUV转换

4

04图像预处理实战

高斯滤波 · 中值滤波 · 直方图均衡化 · ROI提取 · 仿射变换

5

05传统视觉算法

Canny边缘检测 · 轮廓查找 · 霍夫变换 · 模板匹配

6

06特征提取与匹配

SIFT/SURF/ORB · FLANN匹配 · 单应性矩阵 · 透视变换

7

07深度学习基础回顾

CNN结构 · 感受野 · 池化层 · ReLU/Swish激活函数

8

08目标检测模型选型

YOLOv5/v8/v10 · SSD · Faster R-CNN · MobileNet/ShuffleNet

9

09数据集制作与标注

LabelImg/LabelStudio · Mosaic/MixUp · COCO转YOLO · 数据集划分

10

10模型训练与调优

迁移学习 · 学习率调度 · CIoU损失 · 超参数搜索 · 早停

11

11模型量化与压缩

FP16/INT8量化 · TensorRT加速 · ONNX转TensorRT · 精度评估

12

12ONNX模型导出与验证

PyTorch转ONNX · 动态轴 · 算子兼容性 · ONNX Runtime推理

13

13C++推理引擎封装

TensorRT C++ API · 内存池管理 · Batch推理 · 多线程流水线

14

14物料定位算法

中心点定位 · 最小外接矩形 · OBB输出 · 坐标转换

15

15手眼标定实战

张正友标定 · Eye-to-Hand/Eye-in-Hand · 标定板 · 重投影误差

16

16传送带速度补偿

编码器读取 · 速度同步 · 运动模糊补偿 · 触发延迟

17

17多目标跟踪

SORT/DeepSORT · IOU匹配 · 卡尔曼滤波 · 轨迹管理 · ID分配

18

183D视觉初步

RealSense/双目 · 点云获取 · 点云滤波 · 平面拟合 · 抓取点

19

19算法性能优化

NEON指令集 · OpenMP · 内存对齐 · Cache优化 · Nsight

20

20实时性保障

帧率监控 · 延迟抖动 · 丢帧处理 · 动态降级 · 看门狗

21

21通信协议设计

TCP/UDP · Modbus · JSON/Protobuf · 心跳包

22

22上位机界面开发

PyQt5/Qt Designer · 实时视频流 · 参数配置 · 日志系统

23

23异常处理与日志

异常捕获 · 日志分级 · 落盘策略 · 远程日志上报

24

24系统集成测试

硬件在环(HIL) · 压力测试 · 边界条件 · 长时间稳定性

25

25部署与运维

Docker容器化 · OTA远程升级 · 模型热更新 · 监控面板

26

26案例实战一：快递包裹分拣

单品种高速传送带 · 数据集到部署全流程

27

27案例实战二：工业零件分拣

多品种静态抓取 · 3D视觉与机械臂协同

28

28案例实战三：食品分拣

异形柔性物料 · 语义分割与抓取点生成

29

29常见问题排查

模型推理崩溃 · 内存泄漏 · 标定误差 · 跟踪丢失 · 通信超时

30

30课程总结与进阶方向

边缘计算趋势 · 多模态融合 · 数字孪生 · 职业发展

📦 分拣机 · 物料识别与定位