3D视觉系统在机器人导航中的部署方案

📚 共计 30 章节

3D视觉系统概述

什么是3D视觉、价值、主流传感器（双目/ToF/LiDAR）对比

传感器基础

坐标系与空间变换

世界/相机/图像/像素坐标系，刚体变换与齐次坐标

相机标定原理

针孔模型、内参/外参、畸变模型、张正友标定法

深度估计基础

立体匹配、视差深度、ToF/结构光、点云生成

点云处理入门

PCL/Open3D数据结构、体素/统计/半径滤波

ICP、FPFH+RANSAC粗配准、Point-to-Plane ICP、多帧融合

PFH/FPFH/SHOT/3D SIFT、关键点检测(ISS/Harris3D)

特征关键点

语义分割与实例分割

PointNet++、RandLA-Net、3D语义地图构建

VoxelNet、PointPillars、CenterPoint、BEV感知

视觉SLAM基础

ORB-SLAM3、RGB-D SLAM、稀疏/稠密重建、回环检测

GMapping、Hector、Cartographer、LOAM系列

多传感器融合SLAM

VINS-Mono、LVI-SAM、图优化框架

3D占据网格地图

OctoMap、ESDF地图、动态障碍物更新、代价地图

导航中的路径规划

A* / Dijkstra、RRT*、Hybrid A*、Lattice Planner

局部轨迹规划

DWA、TEB、MPC控制、避障策略

平面检测(RANSAC)、地面分割、障碍物聚类(DBSCAN/欧式)

动态环境建模

运动检测与跟踪、光流/场景流、时空一致性

3D视觉与ROS集成

ROS节点、PointCloud2/Odometry、TF树管理

硬件选型与部署

传感器选型(分辨率/帧率)、Jetson/PC、安装标定

实时性优化

CUDA加速、TensorRT、多线程流水线、降采样

仿真环境搭建

Gazebo+ROS、3D场景生成、传感器噪声模拟

数据集与评测

KITTI、nuScenes、Waymo、ATE/RPE/mAP指标

数据集评测

3D视觉导航系统架构

感知-规划-控制闭环、模块解耦、状态机管理

室内导航案例

家庭服务机器人、仓库AGV、3D避障与重定位

室外导航案例

无人配送车、园区巡检、多传感器融合定位

3D视觉与强化学习

端到端导航、深度强化学习、仿真到现实迁移

强化学习导航

安全与可靠性

故障检测、传感器退化、紧急制动、冗余设计

部署与运维

Docker容器化、日志监控、OTA升级、远程调试

NeRF导航、3D高斯泼溅、VLM辅助导航

综合实战项目

从零搭建3D视觉导航机器人：组装→标定→SLAM→规划→自主导航