01
课程导论
双目视觉在自动驾驶中的核心价值 · 课程大纲与学习目标 · 预备知识要求
入门概览
02
成像几何基础
针孔相机模型 · 坐标系转换（世界、相机、图像、像素）· 内参与外参矩阵
几何矩阵
03
双目成像原理
双目立体视觉系统构成 · 视差与深度关系推导 · 基线长度对精度的影响
立体视差
04
相机标定（上）
标定板设计与制作 · 张正友标定法原理 · OpenCV标定流程
标定OpenCV
05
相机标定（下）
畸变校正（径向与切向）· 立体标定与极线校正 · 标定结果验证与精度评估
畸变极线
06
立体匹配（上）
匹配代价计算（SAD、SSD、NCC）· 代价聚合（局部与全局方法）
匹配代价
07
立体匹配（下）
视差优化（WTA、半全局匹配SGM）· 左右一致性检查 · 亚像素插值
SGM优化
08
深度图生成
从视差图到深度图 · 深度图滤波与空洞填充 · 深度图精度分析
深度滤波
09
点云生成与处理
深度图转点云 · 点云滤波（体素滤波、统计滤波）· 点云可视化
点云可视化
10
目标检测（上）
基于深度图的障碍物检测 · 地面分割（RANSAC平面拟合）· 聚类算法（DBSCAN）
检测聚类
11
目标检测（下）
基于点云的3D目标检测（PointNet++简介）· 2D检测与3D检测融合策略
3D融合
12
目标跟踪
基于深度与点云的多目标跟踪（SORT/DeepSORT）· 匈牙利匹配与卡尔曼滤波
跟踪卡尔曼
13
可行驶区域分割
基于深度图的道路边界检测 · 基于点云的路沿检测 · BEV视角下的可行驶区域
分割BEV
14
视觉里程计（上）
特征点法（ORB-SLAM原理）· 对极几何与本质矩阵 · PnP求解位姿
里程计ORB
15
视觉里程计（下）
直接法（LSD-SLAM原理）· 半直接法（SVO）· 双目VO的优势与挑战
直接法SVO
16
同步定位与建图（SLAM）
图优化理论基础 · g2o/Ceres库使用 · 双目SLAM系统搭建
SLAM图优化
17
高精地图构建
稀疏点云地图 · 稠密点云地图 · 语义地图 · 地图更新策略
地图语义
18
传感器融合（上）
IMU与双目视觉融合（VINS-Fusion原理）· 松耦合与紧耦合
融合IMU
19
传感器融合（下）
GPS/RTK与双目视觉融合 · 多传感器时空同步 · 卡尔曼滤波融合框架
GPS同步
20
行为预测
基于深度序列的轨迹预测（LSTM/Transformer）· 交互式行为预测 · 多模态预测
预测Transformer
21
路径规划（上）
全局路径规划（A*、Dijkstra）· 基于栅格地图的规划
规划A*
22
路径规划（下）
局部路径规划（DWA、TEB）· 基于深度图的避障规划
DWA避障
23
控制执行
纯跟踪控制 · MPC模型预测控制 · 双目视觉反馈控制
控制MPC
24
系统集成与架构
自动驾驶软件架构（Apollo/Autoware）· 双目感知模块设计 · ROS2通信机制
架构ROS2
25
性能优化
GPU加速（CUDA）· 模型轻量化（TensorRT）· 多线程流水线设计
优化CUDA
26
仿真与测试
CARLA/Gazebo仿真环境搭建 · 双目传感器仿真 · 闭环测试与回归测试
仿真CARLA
27
数据集与评测
KITTI双目数据集详解 · nuScenes数据集 · 评测指标（RMSE、精度、召回率）
数据集KITTI
28
行业案例解析
特斯拉双目方案 · Mobileye双目方案 · 国内厂商（华为/大疆）双目实践
案例行业
29
前沿技术
端到端自动驾驶与双目 · NeRF在双目中的新应用 · 事件相机与双目融合
前沿NeRF
30
课程总结与展望
核心知识回顾 · 学习路径建议 · 未来技术趋势与职业发展
总结职业