第1章视觉引导抓取概述

一、视觉引导抓取概述

大家好，我是这门课的主讲工程师。今天咱们聊聊视觉引导抓取这件事。

说实话，我入行那会儿，机器人抓取还停留在「示教-再现」的阶段。你让机器人抓一个零件，得先手动拖着它走一遍轨迹，然后它才能重复执行。一旦零件位置变了，对不起，重新示教。那时候我就在想——这玩意儿也太笨了吧？

机器人抓取技术，其实经历了三个阶段。我把它总结成一张图，你先看看整体脉络：

嗯，这张图很直观。从最早的手把手示教，到后来加个摄像头做定位，再到现在用深度学习端到端地学抓取——这条路我走了十几年。

第一阶段：示教再现时代

说白了就是「你教它什么，它就干什么」。我记得刚毕业那会儿，在工厂里调一个码垛机器人，光示教就花了两天。零件稍微偏个几毫米，抓空了。那时候工人师傅都笑我：「你这机器人，还不如我闭着眼睛抓得准。」

第二阶段：视觉辅助时代

后来2D相机、3D相机开始普及。我们给机器人装上了「眼睛」。先拍一张图，找到零件的位置，再告诉机器人「往左5厘米，往下3厘米，抓！」。这确实解决了不少问题，但有个硬伤——每次换产品，得重新标定、重新做模板。我做过一个项目，客户有200多种零件，光模板就做了整整一周。

第三阶段：智能抓取时代

现在不一样了。深度学习让机器人学会了「看一次，就能抓一类」。你给它看几十次抓取示范，它就能自己总结规律。哪怕零件换个角度、换个光照，它照样能抓。这就是咱们这门课要讲的核心——ACT（Action Chunking with Transformers）。

你可能会问：为什么非得加视觉？机器人自己瞎抓不行吗？

我跟你讲个真实案例。之前有个3C电子厂，产线上要抓取手机中框。中框是黑色的，传送带也是黑色的，传统光电传感器根本检测不到。换了3D视觉之后，识别率从60%直接干到99.5%。这就是视觉的价值——让机器人从「盲人摸象」变成「明眼人抓物」。

视觉引导抓取的三大核心价值：

不过话说回来，视觉也不是万能的。我曾经在一个项目里踩过坑——透明塑料件的抓取。相机拍过去，跟空气一样，啥也看不见。后来用了结构光+偏振相机才搞定。所以啊，选视觉方案得看具体场景。

好，咱们聊聊这门课的主角——ACT。

ACT的全称是Action Chunking with Transformers。翻译过来就是「用Transformer做动作分块」。这名字听着挺唬人，其实核心思想很简单。

传统做法是什么？

每走一步，看一眼，算一下，动一下。就像你走路，先迈左脚，看看稳不稳，再迈右脚。这样做的缺点是——慢，而且容易抖动。

ACT的做法是什么？

它一次性预测未来几十步的动作序列。比如抓一个杯子，它直接输出「接下来2秒内，手臂从A点走到B点，同时手指逐渐闭合」这样一整段动作。就像你走路时，其实脑子里已经规划好了接下来几步的路线。

我个人习惯把ACT比作「写剧本」：

传统方法是一句一句地即兴表演，ACT是先把整个剧本写好，然后照着演。后者当然更流畅、更稳定。

ACT的核心组件包括：

你想想看，为什么ACT能火？因为它解决了模仿学习里的一个老大难问题——复合误差。传统方法每一步都有小误差，误差会累积，最后动作完全走样。ACT一次性输出整段动作，误差不累积，自然稳得多。

注意：ACT虽然好，但也不是银弹。它对训练数据的质量要求很高。我曾经用低质量的数据训练，结果机器人抓空气抓得挺欢。数据清洗这步，千万别省。

这门课我设计了10个章节，从理论到实战，一步步带你上手。咱们看看整体架构：

这门课的设计思路是「由浅入深，手把手带你落地」。我不喜欢讲一堆理论然后让你自己琢磨。每一章我都会给完整的代码，你直接跑起来，看到效果，再回头理解原理。

举个例子，第5章讲Transformer，我不会上来就甩你一篇论文。我会先让你跑一个最小化的注意力机制代码，看看它是怎么「关注」到图像里那个杯子的。等你跑通了，我再告诉你为什么它能做到。

嗯，这就是第一章的全部内容。咱们下一章见。