ToF深度相机与RGB融合 · 彩色点云生成实战
📚 共计 30 章节
01
ToF技术原理：从飞行时间到深度图
深度相机的前世今生，脉冲/连续波调制解调
原理
核心
02
RGB相机基础：成像原理与色彩空间
相机标定基础，拜耳阵列，白平衡
RGB
标定
03
传感器选型：ToF vs 双目 vs 结构光
谁更适合你？精度、成本、场景对比
选型
对比
04
硬件同步：硬触发与软触发方案
ToF与RGB相机同步策略，延迟分析
同步
硬件
05
数据流架构：USB/以太网传输协议
从传感器到主机，UVC/GigE解析
架构
传输
06
深度图预处理：去噪与空洞填充
双边滤波实战，孔洞修复算法
滤波
深度
07
RGB图像预处理：畸变校正与直方图
白平衡、畸变校正、直方图均衡化
RGB
校正
08
坐标系对齐：相机·图像·世界
刚体变换，投影矩阵，坐标转换
坐标
数学
09
内外参标定：张正友法在ToF+RGB应用
棋盘格标定，联合优化
标定
张正友
10
联合标定：深度图与RGB像素级对齐
重投影，配准误差最小化
对齐
融合
11
点云生成：从深度图到三维点云
数学推导与代码实现 (Python/C++)
点云
生成
12
彩色映射：RGB像素赋给点云
生成彩色点云，纹理映射
彩色
映射
13
点云滤波：统计/半径/体素滤波
降采样，离群点移除
滤波
降采样
14
点云可视化：Open3D vs PCL
工具对比，交互式渲染
可视化
Open3D
15
实时管线：30fps彩色点云流水线
多线程，零拷贝，延迟优化
实时
管线
16
多帧融合：叠加提升密度与精度
多帧深度图叠加，时域滤波
融合
多帧
17
动态场景处理：运动畸变矫正
运动补偿，点云畸变策略
动态
矫正
18
光照鲁棒性：强光/暗光互补方案
ToF与RGB自适应融合
光照
鲁棒
19
多相机系统：拼接与全局点云融合
多组ToF+RGB，全局配准
多相机
拼接
20
精度评估：RMSE/密度/重叠率
点云精度评价指标与工具
评估
指标
21
性能优化：GPU加速与NEON指令集
嵌入式平台优化，CUDA/NEON
优化
GPU
22
ROS集成：彩色点云发布为Topic
完整方案，节点通信
ROS
集成
23
Open3D高级：配准/分割/聚类
ICP，RANSAC，DBSCAN
Open3D
高级
24
深度学习结合：PointNet++语义分割
彩色点云语义分割实战
深度学习
PointNet++
25
工业案例1：机器人抓取目标检测
彩色点云在抓取中的应用
工业
抓取
26
工业案例2：AR/VR实时三维重建
沉浸式重建，纹理映射
AR/VR
重建
27
工业案例3：自动驾驶多传感器融合
ToF+RGB+激光雷达感知
自动驾驶
融合
28
常见问题排查：闪烁/错位/帧率
深度图闪烁、颜色错位、帧率不达标
排查
实战
29
项目实战：从零搭建彩色点云开发板
硬件选型，系统集成，完整流程
项目
实战
30
未来展望：事件相机+ToF·光子计数
新技术趋势，前沿方向
趋势
展望