一、深度视觉与机器人抓取概述

1.1 课程介绍

大家好，欢迎来到《深度视觉在机器人抓取中的应用》这门课。

我是这门课的主讲，做了十来年机器人算法。说实话，刚入行那会儿，视觉和抓取还是两拨人在做。视觉组搞识别，运动组搞轨迹，中间缺个桥梁。现在不一样了，深度视觉直接把这两件事揉在了一起。

这门课我会带着大家，从底层原理讲到工程落地。你想想看，一个机器人要准确抓起一个随意摆放的零件，背后涉及多少技术？图像处理、三维重建、姿态估计、运动规划……每一环都是坑。我踩过的坑，会在课程里一一告诉你。

课程一共30章，咱们从基础概念开始，逐步深入到实战项目。每章我都会结合真实案例来讲，不是那种纸上谈兵的东西。

1.2 深度视觉技术简介

深度视觉，说白了就是让机器「看见」三维世界。

传统相机拍出来的是二维图像，缺少深度信息。你看到一张桌子的照片，不知道它离你多远。深度视觉不一样，它输出的每个像素都带有距离值——我们叫它深度图。

目前主流的深度视觉技术有几种：

• 双目立体视觉：模仿人眼，用两个相机计算视差。优点是成本低，缺点是对纹理敏感。我在项目里遇到过，白墙面前双目直接「瞎」了。
• 结构光：投射已知图案，通过变形计算深度。Kinect一代用的就是这招。室内效果好，室外见光死。
• ToF（飞行时间）：发射光脉冲，测量返回时间。速度快，但分辨率一般。苹果的LiDAR就是ToF。
• 激光雷达：精度最高，但价格也最高。工业场景用得多。

深度视觉输出的数据，通常是点云或者深度图。点云就是一堆三维坐标点，每个点有(x,y,z)信息。深度图则是灰度图，像素值代表距离。

1.3 机器人抓取技术简介

机器人抓取，听起来简单——伸过去，抓住，拿回来。但这里面门道很多。

抓取的核心问题有三个：

1. 抓哪里？——抓取点的选择。抓杯把还是抓杯身？抓重心还是抓边缘？
2. 怎么抓？——抓取姿态的规划。机械臂以什么角度、什么方向接近物体？
3. 抓多紧？——夹持力的控制。抓鸡蛋和抓铁块，力度能一样吗？

传统的抓取方法，靠的是人工示教。你拿着示教器，一点一点教机器人走轨迹。这种方式效率低，而且换个工件就得重新教。

现在主流的是基于视觉的抓取。机器人通过相机「看」到物体，自动计算抓取点，然后规划路径去抓。这就是深度视觉发挥作用的地方。

抓取方式	优点	缺点
人工示教	简单直接，无需视觉	柔性差，换产线就得重新教
2D视觉引导	成本低，速度快	只能处理平面抓取，无法应对堆叠
3D深度视觉	可处理任意姿态、堆叠场景	计算量大，对硬件有要求

1.4 深度视觉在机器人抓取中的应用价值

为什么要把深度视觉和机器人抓取结合起来？说白了，就是解决「不确定性」。

工业现场，工件的位置、姿态、种类都是不确定的。传送带上的零件可能歪着，料框里的工件可能叠着，甚至同一种工件可能有不同型号。传统方法搞不定这些。

深度视觉带来的价值，我总结为三点：

• 柔性化：换产品不用换硬件，改改算法就行。我见过一条产线，上午抓手机壳，下午抓螺丝刀，全靠视觉自适应。
• 精准化：深度视觉能提供毫米级的定位精度。配合高精度机械臂，抓取误差可以控制在0.5mm以内。
• 智能化：遇到异常情况，比如工件掉落、姿态变化，视觉系统能实时调整。这在无人值守场景下特别重要。

1.5 典型应用场景

讲几个我实际参与过的场景，大家感受一下。

工业分拣

这是最成熟的应用。料框里堆着几十个零件，深度相机一扫，生成点云。算法识别每个零件的种类和位姿，然后引导机械臂逐个抓取。我做过一个汽车零部件分拣项目，节拍要求8秒一个，最后优化到6.5秒。

物流拆垛

仓库里的货物码得整整齐齐，但不同批次尺寸不一。深度视觉能识别每层货物的边界，规划最优拆垛顺序。嗯，这里要注意，反光包装袋是深度相机的噩梦。我建议加个偏振片，效果立竿见影。

家庭服务

这个场景更复杂。家里的物体千奇百怪，杯子、遥控器、书本……而且环境光照变化大。家用机器人通常用ToF相机，配合深度学习做物体识别。我试过让机器人抓取透明玻璃杯，结果深度相机直接穿透了玻璃。后来换了结构光方案才搞定。

这三个场景，基本覆盖了深度视觉抓取的主流应用。工业分拣追求速度和精度，物流拆垛看重稳定性和适应性，家庭服务则对通用性要求最高。不同的场景，技术侧重点完全不同。

---