仿生眼三维重建与深度估计实战

📚 共计 30 章节

仿生眼概述

人类视觉系统与仿生眼的关系 · 机器人/医疗应用 · 课程框架

相机成像模型

针孔模型 · 坐标系转换 · 内参/外参矩阵

相机标定基础

张正友法 · 棋盘格角点 · 单应性矩阵

标定棋盘格

相机标定实战

OpenCV标定 · 畸变校正 · 重投影误差

双目视觉原理

立体几何 · 视差深度 · 极线约束

双目对极几何

双目相机标定

双目标定流程 · Bouguet校正 · 视图对齐

立体校正Bouguet

立体匹配基础

SAD/SSD/NCC · 代价聚合 · 视差优化

匹配代价局部

立体匹配进阶

全局匹配(DP/图割) · SGM · BM vs SGBM

视差后处理

左右一致性 · 中值滤波 · 亚像素插值 · 置信度

深度图生成

视差转深度 · 滤波与空洞填充 · 可视化

深度图后处理

点云生成与可视化

反投影 · 点云数据结构 · Open3D/PCL

点云预处理

体素降采样 · 统计滤波 · 半径滤波 · 法线估计

滤波降采样

点云配准基础

ICP原理 · SVD求解 · 粗/精配准

点云配准进阶

Point-to-Plane · Generalized ICP · NDT

多视角三维重建

SFM原理 · SIFT/ORB · 三角化

SFM特征匹配

COLMAP流程 · 稀疏点云 · 位姿估计

MVS原理 · PatchMatch Stereo · 深度图融合

神经辐射场(NeRF)基础

NeRF原理 · 体素渲染 · 位置编码

NeRF神经渲染

Instant-NGP/TensoRF · 训练与推理

轻量化Instant-NGP

3D Gaussian Splatting

3D高斯表示 · 光栅化 · 优化策略

深度估计基础

单目深度估计 · NYUv2/KITTI · 评价指标

单目数据集

传统深度估计方法

聚焦/散焦 · 光度立体 · Shape from Shading

深度学习单目深度估计

CNN架构(DepthNet/MiDaS) · 损失函数

深度学习MiDaS

自监督深度估计

Monodepth2 · 左右一致性 · 位姿网络

自监督Monodepth2

深度估计与视觉SLAM结合

深度图辅助特征 · 稠密SLAM · RGB-D SLAM

仿生眼硬件系统

多自由度云台 · 事件相机+帧相机融合

硬件事件相机

仿生眼实时处理

CUDA加速立体匹配 · TensorRT部署 · 延迟优化

仿生眼应用案例1

机械臂抓取 · 深度图+点云+手眼标定

机械臂手眼标定

仿生眼应用案例2

AR/VR实时三维重建与交互

课程总结与展望

技术瓶颈 · 神经渲染+仿生眼 · 学习路径