1、视觉伺服系统概述：什么是视觉伺服、应用场景与系统组成
大家好，我是老张。今天咱们开始聊视觉伺服系统。说实话，这个领域我摸爬滚打了十几年，踩过的坑比走过的路还多。但正是这些坑，让我对视觉伺服的理解越来越深。
先问大家一个问题：你见过机器人抓取零件时，眼睛盯着目标，手跟着调整位置吗？ 这就是视觉伺服最直观的体现。说白了，就是用摄像头当眼睛，让机器人能“看见”并“调整”自己的动作。
1.1 什么是视觉伺服？
视觉伺服，英文叫 Visual Servoing。它不是简单的“拍照+识别”，而是实时闭环控制。摄像头不断采集图像，控制器根据图像信息调整机器人运动，直到目标被准确抓取或装配到位。
我习惯把它比作“人眼-手协调”。你想想看，你伸手拿杯子时，眼睛一直盯着杯子，手会根据视觉反馈不断微调。视觉伺服就是把这个过程数字化、自动化。
核心要点：视觉伺服 = 视觉反馈 + 闭环控制。没有闭环，就不叫伺服。
为什么会这样？因为开环控制下，机器人一旦走偏，就再也回不来了。而视觉伺服能实时修正，哪怕目标移动了，它也能跟上。
1.2 应用场景：抓取、装配、移动机器人
我参与过的项目里，视觉伺服最常见的场景有三个。每个场景我都吃过亏，今天一并分享给你们。
1.2.1 抓取（Pick and Place）
这是最经典的应用。比如流水线上，传送带把零件送过来，位置随机。机器人需要准确抓起来放到指定位置。
我曾经在项目里遇到过：零件表面反光，摄像头拍出来全是高光斑，导致抓取失败率高达30%。后来我换了偏振片，才把成功率提到99%以上。嗯，这里要注意，光照环境对视觉伺服影响极大。
- 典型场景：仓储分拣、食品包装、电子元件贴装
- 关键挑战：目标位置随机、光照变化、遮挡
- 我的建议：先做光照标定，再调伺服参数
1.2.2 装配（Assembly）
装配比抓取难一个量级。因为装配要求精度高，而且零件之间可能有配合公差。比如把轴插入孔里，误差超过0.1mm就可能卡死。
我记得有一次做手机摄像头模组装配，视觉伺服系统在实验室跑得好好的，一上产线就抖动。查了三天，发现是产线振动导致图像模糊。后来我加了图像去模糊预处理，问题才解决。
避坑指南：我曾经以为视觉伺服能解决所有装配问题，后来发现机械刚度不够，再好的视觉也白搭。先保证机械基础，再谈视觉控制。
1.2.3 移动机器人（Mobile Robot）
移动机器人上的视觉伺服，主要是视觉导航和目标跟踪。比如AGV小车跟着地面上的引导线走，或者无人机跟踪移动目标。
这里有个坑：移动机器人上的摄像头会随着车体晃动，图像质量不稳定。我建议用IMU+视觉融合，用惯性测量单元补偿图像抖动。
| 应用场景 | 典型精度要求 | 主要挑战 | 我的经验 |
|---|---|---|---|
| 抓取 | ±1~5mm | 光照、遮挡 | 偏振片+多光源 |
| 装配 | ±0.01~0.1mm | 振动、公差 | 图像预处理+机械加固 |
| 移动机器人 | ±10~50mm | 图像抖动、实时性 | IMU融合+滤波 |
1.3 系统组成：相机、图像处理、控制器
一个完整的视觉伺服系统，说白了就三个部分：眼睛（相机）、大脑（图像处理）、手（控制器）。但每个部分都有讲究。
1.3.1 相机（Camera）
相机是系统的“眼睛”。选型时我主要看三个参数：分辨率、帧率、接口。
- 分辨率：不是越高越好。分辨率太高，图像处理慢，实时性差。我一般选640×480或1280×720，够用就行。
- 帧率：至少30fps，最好60fps以上。帧率太低，控制滞后，系统容易振荡。
- 接口：USB3.0或GigE。USB3.0便宜但线长受限，GigE可以传100米。
注意：我曾经贪便宜买了USB2.0的相机，结果帧率只有15fps，系统根本稳不住。后来换了USB3.0，问题立刻解决。相机选型别省钱。
1.3.2 图像处理（Image Processing）
图像处理是系统的“大脑”。它负责从图像中提取有用信息，比如目标位置、姿态、速度。
常用的图像处理步骤包括：
- 预处理：去噪、增强对比度、校正畸变
- 特征提取：边缘检测、角点检测、模板匹配
- 位姿估计：从2D图像计算3D位置（比如PnP算法）
我习惯用OpenCV做图像处理，因为它开源、社区活跃。但要注意，图像处理必须在控制周期内完成。如果处理时间超过10ms，系统就会滞后。
// 一个简单的视觉伺服图像处理伪代码
// 我习惯用C++，实时性更好
cv::Mat frame;
camera.capture(frame); // 采集图像
cv::GaussianBlur(frame, frame, Size(5,5), 0); // 去噪
cv::Canny(frame, edges, 50, 150); // 边缘检测
std::vector<cv::Point2f> corners;
cv::findChessboardCorners(edges, patternSize, corners); // 找角点
// 然后根据角点计算目标位姿
1.3.3 控制器（Controller）
控制器是系统的“手”。它根据图像处理的结果，计算机器人应该怎么动。
常见的控制策略有两种：
- 基于位置的视觉伺服（PBVS）：先估计目标在3D空间的位置，然后控制机器人移动到该位置。优点是直观，缺点是需要精确的相机标定。
- 基于图像的视觉伺服（IBVS）：直接在图像平面计算误差，然后映射到机器人关节空间。优点是不需要精确标定，缺点是容易陷入局部极小。
我个人习惯用混合视觉伺服，把PBVS和IBVS结合起来。在抓取场景用PBVS，在装配场景用IBVS。你想想看，不同场景用不同策略，效果会好很多。
1.4 知识体系框架
下面这张图是我自己画的，把本章的核心逻辑串起来了。你看一遍，应该能对视觉伺服有个整体认识。
这张图里，我把视觉伺服拆成了三个维度：应用场景、系统组成、控制策略。你从任何一个维度切入，都能找到对应的知识点。我个人建议初学者先从系统组成入手，把相机、图像处理、控制器这三个模块搞明白，再去看应用场景和控制策略。
我的小技巧：刚开始学视觉伺服时，别急着调参数。先画一张类似的框架图，把每个模块的输入输出搞清楚。这样后面调参时，你才知道该动哪里。
好了，这一章就到这里。视觉伺服是个系统工程，每个环节都可能出问题。但只要你把基础打牢，后面遇到坑就能快速定位。