三维场景理解与语义重建实战

📚 共计 30 章节
01
三维视觉概述
从二维图像到三维世界的跨越,课程目标与学习路径。
入门导论
02
相机几何基础
针孔相机模型、内参矩阵、外参矩阵、畸变模型。
几何相机
03
特征点提取与匹配
SIFT、SURF、ORB特征,暴力匹配与FLANN匹配。
特征匹配
04
对极几何与基础矩阵
对极约束、本质矩阵、基础矩阵、八点法求解。
几何矩阵
05
三角化与深度估计
线性三角化、非线性优化三角化、深度滤波器。
深度三角化
06
PnP与位姿求解
2D-3D对应、EPnP、直接线性变换、BA优化。
位姿PnP
07
ICP与点云配准
SVD求解ICP、点对点ICP、点对面ICP。
点云配准
08
光流法与直接法
LK光流、直接法视觉里程计、光度误差。
光流直接法
09
视觉SLAM前端
特征点法SLAM、直接法SLAM、半直接法SLAM。
SLAM前端
10
后端优化与图优化
图优化理论、g2o库、Ceres库、因子图。
优化
11
回环检测与重定位
词袋模型、DBoW2、回环校正、全局一致性。
回环重定位
12
RGB-D SLAM
深度相机原理、RGB-D里程计、TSDF融合。
RGB-DSLAM
13
语义SLAM
语义分割与SLAM结合、动态物体剔除、语义地图构建。
语义SLAM
14
三维重建基础
MVS原理、体素重建、表面重建、泊松重建。
重建MVS
15
神经辐射场(NeRF)入门
NeRF原理、体渲染、位置编码。
NeRF神经场
16
NeRF进阶与优化
Instant-NGP、Mip-NeRF、显式与隐式表示。
NeRF加速
17
3D Gaussian Splatting
3D高斯表示、光栅化、实时渲染。
Gaussian渲染
18
语义NeRF与语义Gaussian
语义场、开放词汇语义、语言嵌入。
语义NeRF
19
点云语义分割
PointNet、PointNet++、RandLA-Net、KPConv。
点云分割
20
三维目标检测
VoxelNet、PointPillars、CenterPoint、BEV感知。
检测BEV
21
场景图与场景理解
场景图构建、关系推理、3D场景图。
场景图理解
22
隐式场景表示
Occupancy Networks、DeepSDF、符号距离函数。
隐式SDF
23
生成式三维重建
Diffusion模型用于三维、DreamFusion、Zero-1-to-3。
生成式扩散
24
多视图立体几何
PatchMatch、ACMM、COLMAP使用与原理。
MVS立体
25
大规模场景重建
城市级重建、分块策略、LOD与细节层次。
大规模LOD
26
动态场景重建
非刚体重建、4D重建、动态NeRF。
动态4D
27
三维场景编辑
语义编辑、风格迁移、NeRF编辑、Gaussian编辑。
编辑风格
28
工程化与部署
ONNX导出、TensorRT加速、移动端部署。
部署加速
29
数据集与评测
ScanNet、KITTI、Waymo、SemanticKITTI、评测指标。
数据集评测
30
综合实战项目
从零搭建语义SLAM+重建系统,完整流程与代码解读。
实战综合