3D视觉系统开发:从原型验证到产品落地

📚 共计 30 章节
01
3D视觉技术全景图
从传感器选型(双目、结构光、ToF、LiDAR)到应用场景(工业检测、机器人导航、AR/VR)的宏观认知。
宏观认知传感器
02
相机模型与标定
针孔相机模型、畸变模型、张正友标定法、手眼标定(Eye-in-Hand vs Eye-to-Hand)。
标定手眼
03
立体视觉基础
对极几何、本征矩阵与基础矩阵、立体匹配(SGBM、BM)、视差图与深度图计算。
立体匹配深度
04
点云数据基础
点云数据结构(PCL、Open3D)、点云滤波(体素滤波、统计滤波)、点云可视化。
PCLOpen3D
05
点云配准
ICP算法原理与变体(Point-to-Point、Point-to-Plane)、粗配准(FPFH + RANSAC)、精配准。
ICP配准
06
3D特征提取
PFH、FPFH、SHOT、3D SIFT、Spin Image等经典3D描述子及其对比。
描述子特征
07
深度学习方法(一)
PointNet与PointNet++——直接处理点云的深度学习范式。
PointNet点云
08
深度学习方法(二)
3D卷积神经网络(VoxNet、3D U-Net)与多视图CNN(MVCNN)。
3D CNNMVCNN
09
深度学习方法(三)
基于Transformer的点云处理(PCT、Point Transformer)与最新进展。
Transformer点云
10
3D目标检测(一)
基于点云的方法(PointRCNN、VoxelNet、PointPillars)原理与实现。
检测点云
11
3D目标检测(二)
多模态融合方法(AVOD、F-PointNet、MV3D)——如何融合图像与点云。
多模态融合
12
3D语义分割
PointNet++语义分割、RandLA-Net、KPConv、SparseConvNet在室内外场景的应用。
语义分割KPConv
13
3D实例分割
3D-BoNet、HAIS、SoftGroup——从点云中分割出独立物体实例。
实例分割点云
14
3D重建(一)
基于RGB-D的实时重建(KinectFusion、TSDF、Voxel Hashing)。
RGB-DTSDF
15
3D重建(二)
基于NeRF的神经渲染——从静态场景到动态场景的隐式表示。
NeRF神经渲染
16
3D重建(三)
3D Gaussian Splatting——实时高质量新视角合成的最新方法。
GaussianSplatting
17
SLAM基础
视觉SLAM(ORB-SLAM3)、视觉惯性SLAM(VINS-Mono)、激光SLAM(LOAM、A-LOAM)。
SLAMVINS
18
3D视觉在工业检测中的应用
缺陷检测(3D点云比对)、尺寸测量、引导机器人抓取。
工业缺陷检测
19
3D视觉在自动驾驶中的应用
BEV感知(LSS、BEVFormer)、占据网格预测(Occupancy Network)。
自动驾驶BEV
20
3D视觉在机器人中的应用
抓取姿态估计(GraspNet、6-DoF Grasp)、避障与导航。
机器人抓取
21
3D视觉在AR/VR中的应用
6-DoF跟踪、空间锚点、手势识别与3D交互。
AR/VR交互
22
3D数据集与评估指标
KITTI、nuScenes、Waymo、ScanNet、ShapeNet等数据集详解,mAP、ATE、CD等指标。
数据集评估
23
模型部署与优化(一)
模型量化(PTQ、QAT)、剪枝、知识蒸馏在3D模型上的实践。
量化剪枝
24
模型部署与优化(二)
TensorRT、ONNX Runtime、OpenVINO在3D视觉模型上的加速。
TensorRTONNX
25
嵌入式平台部署
Jetson(TX2、Xavier、Orin)上的3D视觉模型优化与实时推理。
Jetson嵌入式
26
系统架构设计
3D视觉系统的软件架构(模块划分、数据流、通信机制)、硬件选型与集成。
架构集成
27
原型验证方法论
MVP设计、快速迭代、A/B测试、从实验室到现场的关键问题(光照、遮挡、材质)。
MVP迭代
28
产品化工程实践
可靠性设计、容错机制、日志与监控、OTA升级、合规认证(CE、FCC)。
工程合规
29
项目管理与团队协作
敏捷开发在3D视觉项目中的应用、跨团队协作(算法、工程、产品、测试)。
敏捷协作
30
案例实战:机器人抓取系统
从零搭建一个3D视觉引导的机器人抓取系统——需求分析、方案设计、原型开发、部署上线全流程。
实战全流程