01
立体视觉概述
双目立体视觉的原理、视差与深度的关系、立体匹配的挑战与评价指标。
基础视差
02
相机模型与标定
针孔相机模型、相机内参与外参、畸变校正、张正友标定法实战。
标定畸变
03
极线几何与对极约束
极线、极点与基础矩阵、本质矩阵、单应性矩阵,极线校正简化匹配。
几何矩阵
04
图像预处理
直方图均衡化、高斯滤波、中值滤波、Sobel/Canny边缘检测在立体匹配中的作用。
滤波边缘
05
匹配代价计算(上)
SAD(绝对差和)、SSD(平方差和)、NCC(归一化互相关)的原理与实现。
代价SAD
06
匹配代价计算(下)
Census变换、BT代价、互信息(MI)代价的深度解析。
CensusMI
07
代价聚合(上)
固定窗口与自适应窗口、引导滤波(Guided Filter)在代价聚合中的应用。
聚合引导滤波
08
代价聚合(下)
十字交叉域代价聚合、半全局匹配(SGM)的代价聚合思想。
CrossSGM
09
视差计算与优化
赢家通吃(WTA)、子像素插值(抛物线拟合)、左右一致性检查(LRC)。
WTALRC
10
半全局匹配(SGM)详解
SGM能量函数、动态规划路径聚合、P1与P2惩罚参数调优。
SGM调优
11
全局匹配算法(上)
图割(Graph Cut)算法原理、能量最小化框架、α-expansion与α-β swap。
图割能量
12
全局匹配算法(下)
置信度传播(BP)、动态规划(DP)在立体匹配中的应用。
BPDP
13
局部匹配算法实战
基于OpenCV的BM算法实现、参数调优、性能对比。
BMOpenCV
14
SGM算法实战
基于OpenCV的SGBM算法实现、参数详解(numDisparities、blockSize、P1/P2等)。
SGBM调参
15
深度学习立体匹配入门
端到端学习范式、DispNetC网络结构、特征提取与代价体构建。
DispNetCNN
16
GC-Net详解
3D卷积代价体、可微ArgMin、视差回归损失函数。
3D卷积回归
17
PSMNet与特征金字塔
空间金字塔池化(SPP)、堆叠沙漏网络、3D CNN的优化。
PSMNetSPP
18
GANet与引导聚合
引导聚合层(GA Layer)、局部与全局信息融合、半全局聚合的神经网络实现。
GANetGA
19
RAFT-Stereo与迭代优化
循环迭代更新、全对场变换、多尺度特征。
RAFT迭代
20
损失函数与评价指标
端点误差(EPE)、D1误差(坏点比例)、像素精度、可视化评估方法。
EPED1
21
数据集与数据增强
Scene Flow、KITTI、Middlebury、ETH3D,随机裁剪、颜色抖动、遮挡模拟。
KITTI增强
22
模型训练与调优
学习率策略(Warm-up、Cosine Annealing)、权重初始化、BN调优、过拟合处理。
训练学习率
23
模型轻量化与部署
知识蒸馏、模型剪枝、量化(INT8/FP16)、TensorRT与ONNX部署实战。
轻量TensorRT
24
视差后处理
中值滤波、双边滤波、孔洞填充、遮挡区域插值、子像素细化。
后处理滤波
25
深度图生成与点云
视差转深度公式、相机基线计算、点云生成(PCL/Open3D)、三维重建基础。
点云重建
26
自动驾驶中的应用
BEV感知、障碍物检测、路面重建、多传感器融合(LiDAR+相机)。
自动驾驶BEV
27
机器人中的应用
视觉SLAM、抓取位姿估计、避障导航、AR/VR交互。
SLAM抓取
28
工业检测中的应用
高精度三维测量、缺陷检测、PCB板焊接检测、零件尺寸测量。
工业测量
29
算法对比与选型
传统 vs 深度学习、精度 vs 速度权衡、不同场景下的算法选择指南。
选型对比
30
综合项目实战
从零搭建双目立体匹配系统:标定→校正→匹配→后处理→点云生成,完整代码与调优经验。
实战全流程