01
立体视觉概述
什么是立体匹配、双目视觉原理、视差与深度关系、应用场景(自动驾驶、机器人、3D重建)
基础概念
02
相机成像模型
针孔相机模型、坐标系转换(世界、相机、图像、像素)、相机内参与外参
几何矩阵
03
相机标定基础
标定板设计、张正友标定法原理、OpenCV标定流程、畸变校正
标定OpenCV
04
对极几何与极线约束
对极几何基础、本质矩阵与基础矩阵、极线校正(Rectification)、OpenCV实现
几何约束
05
立体匹配流程总览
匹配步骤(匹配代价计算、代价聚合、视差计算、视差优化)、经典算法分类(局部/全局/半全局)
流程分类
06
匹配代价计算(上)
SAD(绝对差和)、SSD(平方差和)、NCC(归一化互相关)、OpenCV实现
代价传统
07
匹配代价计算(下)
Census变换、BT代价(Birchfield-Tomasi)、互信息(MI)、代价体(Cost Volume)构建
代价鲁棒
08
代价聚合(上)
盒式滤波(Box Filter)、高斯滤波、引导滤波(Guided Filter)原理与实现
滤波聚合
09
代价聚合(下)
十字交叉域聚合(Cross-based)、自适应权重聚合、快速双边滤波
聚合边缘
10
视差计算与优化
WTA(赢家通吃)、子像素插值、左右一致性检查(LRC)、唯一性约束
优化后处理
11
半全局匹配(SGM)原理
SGM核心思想、多路径聚合、惩罚参数P1/P2、SGM vs 全局匹配
SGM经典
12
SGM算法实现
OpenCV SGBM详解、参数调优(numDisparities、blockSize、P1/P2)、性能分析
OpenCV调优
13
全局匹配算法
图割(Graph Cut)、置信度传播(Belief Propagation)、动态规划(Dynamic Programming)
全局优化
14
深度学习立体匹配入门
CNN特征提取、Siamese网络架构、匹配代价体构建(3D卷积)
深度学习入门
15
经典深度学习模型(上)
DispNet(编码器-解码器)、GC-Net(3D代价体聚合)
DispNetGC-Net
16
经典深度学习模型(下)
PSMNet(空间金字塔池化)、GANet(引导聚合)、RAFT-Stereo(迭代优化)
PSMNetRAFT
17
损失函数与评价指标
EPE(端点误差)、D1-all(坏像素比例)、损失函数设计(Smooth L1、交叉熵)
指标损失
18
数据集与数据增强
Scene Flow、KITTI、Middlebury、ETH3D、数据增强策略(颜色抖动、遮挡模拟)
数据增强
19
模型训练与调优
PyTorch训练框架、学习率策略、梯度裁剪、Batch Size影响、迁移学习
训练PyTorch
20
模型轻量化与加速
知识蒸馏、模型剪枝、量化(INT8/FP16)、TensorRT部署
轻量部署
21
立体匹配在嵌入式设备
Jetson Nano/RK3588部署、ONNX导出、推理优化、功耗与帧率平衡
嵌入式ONNX
22
立体匹配在自动驾驶
BEV感知、障碍物检测、可行驶区域分割、与激光雷达融合
自动驾驶BEV
23
立体匹配在机器人
视觉SLAM、抓取位姿估计、避障导航、深度图补全
机器人SLAM
24
立体匹配在3D重建
多视角立体(MVS)、点云生成、纹理映射、Mesh重建
3D重建MVS
25
双目相机选型与硬件
相机选型(全局/卷帘快门)、基线长度选择、同步触发、硬件触发
硬件选型
26
立体匹配系统搭建
硬件选型、软件架构(C++/Python)、实时性优化、多线程流水线
系统架构
27
立体匹配工程化(上)
C++实现SGM、内存管理、SIMD加速、OpenMP并行
C++性能
28
立体匹配工程化(下)
Docker部署、REST API封装、Web端可视化、性能监控
DockerAPI
29
立体匹配前沿
无监督立体匹配、自监督学习、事件相机立体匹配、大模型与立体匹配
前沿无监督
30
综合项目实战
从零搭建双目深度估计系统(标定→匹配→后处理→可视化→部署),完整代码与文档
实战全流程