三维重建算法实现与优化

📚 共计 30 章节

三维重建导论

从2D到3D的视觉革命，课程概览与学习路径。

概览学习路径

相机几何基础

针孔相机模型、内参矩阵与外参矩阵、畸变模型。

相机模型畸变

坐标系与变换

世界、相机、图像、像素坐标系，刚体变换与投影变换。

坐标系投影

特征点提取与匹配

SIFT、SURF、ORB特征，暴力匹配与FLANN，RANSAC剔除误匹配。

特征匹配RANSAC

对极几何与基础矩阵

对极约束、本质矩阵E、基础矩阵F，八点法求解。

对极几何八点法

运动恢复结构（SfM）原理

三角化、PnP、BA优化，增量式与全局式SfM。

使用OpenMVG或COLMAP进行稀疏重建，点云导出与可视化。

多视图立体视觉（MVS）

PMVS、CMVS算法，稠密匹配与深度图融合。

MVS稠密匹配

立体匹配与视差计算

SGBM、BM算法，视差图生成与后处理。

深度估计与法线估计

基于学习的深度估计（MiDaS），法线贴图生成。

深度法线MiDaS

点云处理基础

点云数据结构（PCL），体素滤波、统计滤波、半径滤波。

ICP及其变体（Point-to-Plane ICP），NDT算法。

点云分割与聚类

RANSAC平面分割、欧几里得聚类、区域生长。

泊松重建、Delaunay三角化、Marching Cubes算法。

表面Marching Cubes

网格优化与简化

网格细分（Loop、Catmull-Clark）、简化（QSlim）、孔洞修补。

UV展开、纹理融合、多视角纹理映射。

神经辐射场（NeRF）入门

体渲染原理、位置编码、MLP网络结构。

使用Instant-NGP或Nerfstudio进行训练与渲染。

Instant-NGPNerfstudio

3D高斯泼溅（3D Gaussian Splatting）

原理、优化策略、实时渲染。

3DGS实时渲染

从多视图图像生成3D高斯模型，使用SIBR Viewer查看。

基于深度学习的单视图重建

PIFu、Occupancy Networks、Mesh R-CNN。

隐式神经表示

SIREN、Neural Implicit Surfaces，符号距离函数（SDF）。

生成式三维重建

DreamFusion、Zero-1-to-3，文本到3D生成。

生成式文本到3D

SLAM与三维重建

ORB-SLAM3、RTAB-Map，稠密建图与语义建图。

SLAM稠密建图

大规模场景重建

分块重建、层级细节（LOD）、流式加载。

LOD流式加载

重建质量评估

精度（RMSE、Chamfer Distance）、完整性、F-score。

CUDA加速、多线程流水线、内存管理策略。

工程化部署

ONNX模型导出、TensorRT加速、移动端部署（ARKit/ARCore）。

ONNXTensorRTARKit

行业应用案例

数字孪生、文物保护、自动驾驶仿真、医疗影像。

数字孪生医疗

课程总结与未来展望

3DGS与NeRF融合趋势，端到端重建，实时化挑战。

趋势实时化