01
仿生眼概述
什么是仿生眼 · 发展历程 · 核心技术栈 · vs传统摄像头
概念对比
02
仿生眼硬件平台搭建
主控选型 · 摄像头模组 · 云台舵机 · 电源管理
硬件JetsonRK3588
03
开发环境配置
系统烧录 · Python环境 · OpenCV编译 · TensorRT/PyTorch
环境UbuntuAnaconda
04
OpenCV基础
图像读写 · 色彩空间 · 滤波 · Canny边缘 · 形态学
OpenCV预处理
05
视频流处理
V4L2调用 · 帧率控制 · 多线程读取 · 保存回放
视频多线程
06
目标检测基础
Haar/HOG+SVM vs YOLO/SSD 传统vs深度
检测对比
07
YOLOv8实战
模型导出 · ONNX/TensorRT · Python推理封装
YOLOv8部署
08
目标跟踪基础
光流法 · MeanShift · 卡尔曼滤波原理
跟踪滤波
09
DeepSORT多目标跟踪
ReID特征 · 级联匹配 · 轨迹管理 · ID分配
DeepSORT多目标
10
仿生眼运动控制
PID控制 · 舵机角度映射 · 平滑插值 · 限位保护
控制舵机
11
目标坐标映射
像素→云台角度 · 张正友标定 · 畸变校正
标定坐标
12
单目测距
小孔成像 · 相似三角形 · 基于高度测距
测距单目
13
双目视觉
SGBM立体匹配 · 视差图 · 深度图 · 点云
双目深度
14
仿生眼追踪系统架构
主循环 · 模块解耦 · 数据流(检测→跟踪→控制)
架构系统
15
多线程与异步编程
生产者-消费者 · 线程池 · 共享内存 · 锁
多线程异步
16
实时性优化
INT8/FP16量化 · TensorRT · 流水线 · DMA
优化加速
17
GUI交互界面
PyQt5 · 实时视频 · 参数面板 · 日志
GUIPyQt5
18
ROS2集成
Topic/Service · TF坐标 · RViz2可视化
ROS2机器人
19
数据集制作
LabelImg标注 · COCO格式 · Mosaic/MixUp增强
数据标注
20
模型训练
YOLOv8配置 · 损失调优 · 超参数搜索 · 早停
训练调优
21
模型评估
mAP · 混淆矩阵 · FPS · 鲁棒性测试
评估指标
22
仿生眼仿生运动
平滑追踪 · 扫视 · 前庭眼反射(VOR)
仿生运动
23
特定场景实战1：人脸
人脸关键点 · 口罩检测 · 追踪
人脸实战
24
特定场景实战2：手势
MediaPipe · 自定义手势分类 · 追踪
手势MediaPipe
25
特定场景实战3：车辆
车流量统计 · 违章抓拍模拟
车辆交通
26
特定场景实战4：无人机
鸟瞰图 · 抗抖动滤波 · 目标追踪
无人机抗抖动
27
系统联调与测试
硬件在环 · 长时间稳定性 · 功耗优化
测试联调
28
部署与发布
Docker打包 · systemd服务 · MQTT远程监控
部署Docker
29
项目总结与复盘
常见问题 · 性能瓶颈 · 改进方向
复盘总结
30
扩展与展望
事件相机 · 神经形态视觉 · 具身智能
前沿事件相机