1. 双目视觉概述:原理、应用场景与行业现状

大家好,我是老张。做嵌入式视觉这行十几年了,今天咱们聊聊双目视觉。

说实话,刚入行那会儿,我对双目视觉的理解就是「两个摄像头拍照片,然后算距离」。后来踩了不少坑,才真正搞明白里面的门道。这一章,我把核心的东西掰开揉碎了讲给你听。

1.1 双目视觉的基本原理

双目视觉,说白了就是模仿人眼。人为什么能判断距离?因为两只眼睛看到的画面有细微差别,大脑通过这个差别算出深度。机器也一样。

核心原理就四个字:三角测量

核心公式:

深度 Z = (f × B) / d

其中:f 是焦距,B 是基线距离(两个相机中心的距离),d 是视差(同一个点在左右图像中的像素差)。

我当年做第一个双目项目时,以为套公式就能搞定。结果发现,视差 d 的精度直接决定了测距的准确性。差一个像素,距离可能差好几米。嗯,这里要注意。

1.2 核心工作流程

一个完整的双目系统,通常走这几步:

  1. 图像采集:左右相机同步拍照。不同步?画面就糊了。
  2. 立体校正:把两幅图像拉平,让对应点在同一行上。这一步不做,后面全白搭。
  3. 立体匹配:找左右图像中的对应点。这是最耗算力的环节。
  4. 视差计算:算出每个点的视差值。
  5. 深度恢复:用三角公式算出深度。

我习惯把前三步称为「预处理三件套」。这三步做扎实了,后面就顺了。

个人经验: 立体匹配是瓶颈。我曾经在一个项目中,匹配算法跑在ARM上,一帧要3秒。后来换了FPGA加速,才降到30毫秒。选型时一定要算好算力余量。

1.3 主要应用场景

双目视觉能做的事,比你想象的多。我挑三个最典型的说说。

1.3.1 测距

这是最基础的应用。自动驾驶、无人机避障、工业测距,都在用。

举个例子:我做过一个AGV小车项目,用双目测距来避障。当时选的是120mm基线的模组,测距范围0.5米到10米。效果还行,但到了强光下,匹配精度就掉得厉害。后来加了偏振片才稳住。

避坑指南: 我曾经以为双目测距能替代激光雷达。后来发现,在弱纹理场景(比如白墙)下,双目基本失效。这时候要么加结构光,要么换方案。别硬扛。

1.3.2 3D重建

把二维图像变成三维模型。文物数字化、工业检测、AR/VR都在用。

3D重建的精度取决于两个因素:视差精度标定精度。我见过有人标定做得马虎,重建出来的模型歪歪扭扭,根本不能用。

你想想看,一个0.1像素的视差误差,在10米外可能对应几厘米的深度误差。所以标定这一步,我建议至少做三次,取平均值。

1.3.3 SLAM(同步定位与地图构建)

这是机器人领域的核心技术。双目SLAM比单目SLAM强在哪?有尺度信息

单目SLAM不知道物体实际大小,只能算出相对位置。双目SLAM直接给出真实尺度。我做过一个扫地机器人项目,用双目SLAM建图,精度比单目高了30%以上。

但代价也明显:计算量大。嵌入式平台上跑双目SLAM,一般需要GPU或NPU加速。

1.4 行业现状与趋势

现在的双目视觉行业,我总结为三个字:卷、快、变

维度 现状 趋势
硬件 主流是200万像素、120mm基线 向500万、800万像素发展,基线可调
算法 传统SGM算法为主 深度学习端到端匹配正在普及
算力 ARM+FPGA是主流 NPU、GPU加速成为标配
成本 模组价格在200-2000元 国产化后有望降到百元级

我个人观察,深度学习正在改变双目视觉的玩法。以前靠手工特征匹配,现在用CNN直接回归视差图,精度和鲁棒性都上了一个台阶。但代价是算力需求暴涨。

我的判断: 未来三年,双目视觉会从「高端专用」走向「中低端普及」。智能家居、消费级机器人、AR眼镜都会大量采用。但前提是——成本降下来,算力提上去。

1.5 知识体系总览

下面这张图,是我梳理的双目视觉知识体系。你把它记在心里,后面每一章都会围绕它展开。

双目视觉知识体系 核心原理:三角测量 关键流程:图像采集 → 立体校正 → 立体匹配 → 视差计算 → 深度恢复 测距 3D重建 SLAM 硬件选型 传感器 | 镜头 | 基线 | 算力 算法优化 匹配 | 滤波 | 加速 | 深度学习 调试与标定 内外参 | 畸变 | 同步 | 验证 目标:低成本、高精度、实时性

这张图把双目视觉拆成了四个层次:原理 → 流程 → 应用 → 落地。后面的章节,我会带着你一层一层往下挖。

1.6 写在前面的话

做双目视觉,最怕什么?眼高手低

我见过太多人,理论一套一套的,一上手就卡在标定上。也见过有人买了几千块的模组,结果连同步都没搞定。

所以这门课,我会把实战经验放在第一位。每一章都有代码、有配置、有踩坑记录。你跟着做一遍,比看十遍理论都管用。

我的建议: 准备一个双目模组,哪怕是最便宜的USB双目摄像头。边学边练,效果最好。别光看不练,那是在浪费时间。

好了,第一章就到这里。下一章我们开始聊硬件选型——传感器、镜头、基线怎么配,我踩过的坑都会告诉你。


公众号:蓝海资料掘金营,微信deep3321