第1章：特征点跟踪——SIFT、SURF、ORB特征提取与匹配

各位同学，咱们今天聊点硬核的。特征点跟踪，说白了就是让计算机学会「认路」。你想想看，视频防抖也好，运动估计也罢，核心问题就一个：画面里的东西，到底往哪跑了？

我个人习惯把特征点比作「图像的指纹」。每张图都有自己独特的纹理、角点、边缘。我们要做的，就是找到这些独一无二的位置，然后跟踪它们。

1.1 三大特征提取算法：SIFT、SURF、ORB

先说说这三个家伙。SIFT 是祖师爷级别的，2004年提出，至今仍是很多场景的黄金标准。SURF 是它的加速版，ORB 则是开源社区的宠儿——免费、快速、够用。

算法	特点	速度	旋转不变性	尺度不变性
SIFT	精度最高，但慢	慢	优秀	优秀
SURF	比SIFT快3-5倍	中等	良好	良好
ORB	实时、免费、无专利	极快	一般	一般

1.2 特征提取与匹配实战

咱们直接上代码。这是我在一个运动相机防抖项目里用过的核心片段：

import cv2
import numpy as np

# 读取两帧图像
frame1 = cv2.imread('frame_001.jpg', 0)
frame2 = cv2.imread('frame_002.jpg', 0)

# 创建ORB检测器
orb = cv2.ORB_create(nfeatures=1000)

# 检测特征点和描述子
kp1, des1 = orb.detectAndCompute(frame1, None)
kp2, des2 = orb.detectAndCompute(frame2, None)

# 暴力匹配
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)

# 按距离排序，取前50个最佳匹配
matches = sorted(matches, key=lambda x: x.distance)[:50]

# 提取匹配点坐标
pts1 = np.float32([kp1[m.queryIdx].pt for m in matches]).reshape(-1, 1, 2)
pts2 = np.float32([kp2[m.trainIdx].pt for m in matches]).reshape(-1, 1, 2)

1.3 基于特征点的运动轨迹估计

有了匹配点对，接下来就是算运动了。这里有个关键概念——单应性矩阵。它描述了前后两帧之间的投影变换关系。

为什么会用到单应性矩阵？因为相机运动不光是平移，还有旋转、缩放。单应性矩阵能把这些都统一建模。

# 计算单应性矩阵
H, mask = cv2.findHomography(pts1, pts2, cv2.RANSAC, 5.0)

# 提取运动参数
# 平移量
dx = H[0, 2]
dy = H[1, 2]

# 旋转角度（弧度）
theta = np.arctan2(H[1, 0], H[0, 0])

# 缩放因子
scale = np.sqrt(H[0, 0]**2 + H[1, 0]**2)

1.4 知识体系总览

下面这张图是我自己总结的，把整个特征点跟踪的流程串起来了：

1.5 实际项目中的坑与对策

做运动场景防抖，有几个坑我踩过，你们记一下：

• 运动模糊：快速移动时特征点会糊掉。我一般先做去模糊预处理，或者降低曝光时间。
• 重复纹理：比如草地、砖墙，特征点匹配容易出错。这时候我会增加特征点数量，然后用 RANSAC 严格筛选。
• 光照突变：比如有人突然开灯。ORB 对光照变化比较敏感，我建议用 SIFT 或者做直方图均衡化。