4. 特征匹配与跟踪：暴力匹配、FLANN、RANSAC与LK光流

各位同学，欢迎来到第四章。这一章我们聊点硬核的——特征匹配与跟踪。

说实话，在视觉伺服里，特征匹配和跟踪就像是系统的“眼睛”。你算得再快，控制律设计得再漂亮，如果特征点对不上，一切都是白搭。我在早期做项目时，就吃过这个亏。当时一个抓取任务，明明特征提取得很好，结果匹配全乱了，机器人直接抓了个空。嗯，从那以后，我对匹配和跟踪这块就格外上心。

这一章，我会带你走一遍从暴力匹配到光流跟踪的完整路径。你想想看，从最朴素的匹配方法，到带几何校验的鲁棒匹配，再到基于运动模型的跟踪，这其实是一条从“蛮力”到“智慧”的进化路线。

4.1 暴力匹配：最朴素，也最可靠

暴力匹配，英文叫 Brute-Force Matcher。说白了，就是拿第一张图的每个特征点，去和第二张图的所有特征点算一遍距离，挑出最近的那个。

你可能会问：这效率行吗？说实话，如果特征点不多（比如几百个），暴力匹配完全够用。我在做桌面级机械臂的视觉抓取时，特征点一般控制在 300-500 个，暴力匹配跑起来毫无压力。

匹配的核心是距离度量。对于浮点型描述子（比如 SIFT），我们用欧氏距离；对于二进制描述子（比如 ORB），我们用汉明距离。我个人习惯用 ORB + 汉明距离，因为速度快，内存占用小。

// C++ 示例：暴力匹配
cv::Ptr<cv::DescriptorMatcher> matcher = 
    cv::DescriptorMatcher::create(cv::DescriptorMatcher::BRUTEFORCE_HAMMING);
std::vector<cv::DMatch> matches;
matcher->match(descriptors1, descriptors2, matches);

// 按距离排序，保留前 K 个最佳匹配
std::sort(matches.begin(), matches.end());
double threshold = matches[0].distance * 2.5;  // 自适应阈值
std::vector<cv::DMatch> good_matches;
for (auto &m : matches) {
    if (m.distance < threshold)
        good_matches.push_back(m);
}

4.2 FLANN 匹配：当效率成为瓶颈

当特征点数量上万时，暴力匹配就有点吃力了。这时候，FLANN（Fast Library for Approximate Nearest Neighbors）就派上了用场。

FLANN 的核心思想是：我不找绝对最近的那个点，我找一个“足够近”的点。你想想看，在视觉伺服里，我们真的需要那个“绝对最近”吗？其实不需要。只要匹配误差在几个像素以内，控制律完全能收敛。

FLANN 支持多种索引结构。对于浮点描述子，我推荐使用 KD-Tree；对于二进制描述子，我推荐使用 LSH（Locality-Sensitive Hashing）。

// C++ 示例：FLANN 匹配（二进制描述子用 LSH）
cv::FlannBasedMatcher matcher(
    new cv::flann::LSHParams(20, 10, 2),  // table_number, key_size, multi_probe_level
    new cv::flann::SearchParams(50)       // 检查的叶子节点数
);
std::vector<cv::DMatch> matches;
matcher->match(descriptors1, descriptors2, matches);

4.3 RANSAC 剔除误匹配：让数据说话

无论你用暴力匹配还是 FLANN，结果里总会有一些“野点”——就是那些明显匹配错了的点。为什么会这样？因为特征描述子只能描述局部纹理，如果场景中有重复纹理、光照变化剧烈，误匹配就不可避免。

RANSAC（Random Sample Consensus）就是用来干这个的。它的思路很暴力：随机选一小撮匹配点，算出一个几何模型（比如单应性矩阵 H），然后看有多少点符合这个模型。重复这个过程，找到支持点数最多的那个模型。

我个人习惯用单应性矩阵来做 RANSAC，因为视觉伺服里，目标平面通常可以近似为平面。如果场景是纯旋转或非平面，那就用基础矩阵 F。

// C++ 示例：RANSAC 剔除误匹配
std::vector<cv::Point2f> pts1, pts2;
for (auto &m : matches) {
    pts1.push_back(keypoints1[m.queryIdx].pt);
    pts2.push_back(keypoints2[m.trainIdx].pt);
}

cv::Mat inlier_mask;
cv::Mat H = cv::findHomography(pts1, pts2, cv::RANSAC, 3.0, inlier_mask);

// 提取内点
std::vector<cv::DMatch> inlier_matches;
for (int i = 0; i < inlier_mask.rows; i++) {
    if (inlier_mask.at<uchar>(i)) {
        inlier_matches.push_back(matches[i]);
    }
}

4.4 LK 光流法：从匹配到跟踪

前面讲的都是“匹配”——两帧独立提取特征，然后找对应关系。但视觉伺服里，帧与帧之间的运动通常很小。这时候，用光流法做“跟踪”比重新做“匹配”要高效得多。

LK 光流（Lucas-Kanade 光流）的核心假设有三个：

• 亮度恒定：同一个点在相邻帧之间，亮度不变
• 小运动：帧间位移很小（几个像素以内）
• 空间一致性：邻域内的点运动一致

这三个假设，说白了就是：你盯着一个像素点看，它在下一帧的位置不会跑太远，而且它周围的邻居跟它一起跑。

我在做 AGV 的视觉导航时，特别喜欢用 LK 光流。因为 AGV 运动速度慢，帧率高（30fps 以上），完全满足小运动假设。而且光流法不需要每帧都提取特征，计算量小很多。

// C++ 示例：稀疏 LK 光流跟踪
std::vector<cv::Point2f> prev_pts, next_pts;
std::vector<uchar> status;
std::vector<float> err;

// 假设 prev_pts 已经初始化（来自上一帧的特征点）
cv::calcOpticalFlowPyrLK(
    prev_gray, curr_gray, 
    prev_pts, next_pts, 
    status, err,
    cv::Size(21, 21),  // 窗口大小
    3,                  // 金字塔层数
    cv::TermCriteria(cv::TermCriteria::COUNT + cv::TermCriteria::EPS, 30, 0.01)
);

// 只保留跟踪成功的点
std::vector<cv::Point2f> good_prev, good_next;
for (int i = 0; i < status.size(); i++) {
    if (status[i]) {
        good_prev.push_back(prev_pts[i]);
        good_next.push_back(next_pts[i]);
    }
}

4.5 匹配与跟踪的协同策略

在实际的视觉伺服系统中，我不会只用一种方法。我通常的做法是：

1. 初始化阶段：用 ORB + 暴力匹配 + RANSAC，建立初始特征点对
2. 跟踪阶段：用 LK 光流跟踪这些点，每帧更新位置
3. 维护阶段：每 30-50 帧，重新做一次特征匹配，补充丢失的点，剔除漂移的点

这种“匹配 + 跟踪”的混合策略，既保证了精度（匹配阶段），又保证了效率（跟踪阶段）。我在多个项目中验证过，效果非常稳定。

4.6 本章小结

这一章我们聊了特征匹配与跟踪的完整链路：

• 暴力匹配：简单可靠，适合特征点少的场景
• FLANN 匹配：效率优先，适合大规模特征点
• RANSAC：用几何约束剔除误匹配，是匹配质量的保障
• LK 光流：基于运动模型的跟踪，效率高但依赖小运动假设

说实话，这些方法单独拿出来都不难。难的是怎么把它们组合起来，形成一个稳定、鲁棒的视觉前端。我个人觉得，一个好的视觉伺服系统，70% 的功夫都在前端——特征稳了，后面的控制就顺了。

下一章，我们会把这些特征点对用起来，聊聊怎么从 2D 图像信息中估计出相机的运动。嗯，那才是真正有意思的部分。

---

公众号:蓝海资料掘金营，微信deep3321