4. 帧间配准（上）：基于特征点的配准方法（SIFT/SURF）

多帧降噪的核心，说白了就是把多张「抖动的」图像对齐。

你想想看，手持拍摄时手会抖，物体在动，帧与帧之间肯定有偏移。如果不做配准直接平均，那画面就糊了。所以，帧间配准是多帧降噪的第一步，也是最关键的一步。

我个人习惯把配准方法分成两类：基于特征点的，和基于光流的。这一章我们先聊基于特征点的配准，重点讲 SIFT 和 SURF。

4.1 为什么需要特征点配准？

先问个问题：给你两张图，你怎么知道它们之间差了多少像素？

最笨的办法是暴力搜索——把整张图平移几个像素，算一下相似度。但这样太慢了，而且遇到旋转、缩放就彻底歇菜。

特征点配准的思路是：先找到图像中「有特点」的点（比如角点、斑点），然后匹配这些点，最后算出一个变换矩阵。这样做的好处是——

• 速度快：只处理几百个点，不是几百万个像素
• 鲁棒性好：对光照变化、旋转、缩放都不敏感
• 精度高：亚像素级别的配准精度

4.2 SIFT：祖师爷级别的算法

SIFT（Scale-Invariant Feature Transform）是 2004 年 David Lowe 提出的。我在项目中用过很多次，虽然它已经被申请了专利（商用要小心），但学术上依然是标杆。

4.2.1 SIFT 的四步走

1. 尺度空间极值检测：用高斯差分（DoG）在不同尺度上找极值点
2. 关键点定位：去掉低对比度的点和边缘响应点
3. 方向分配：给每个关键点算一个主方向
4. 描述子生成：在关键点周围取 16×16 的窗口，算梯度直方图

嗯，这里要注意：SIFT 的描述子是 128 维的向量。为什么是 128？因为 4×4 的网格，每个网格 8 个方向，4×4×8 = 128。这个设计很经典，后来很多算法都在抄这个思路。

4.2.2 SIFT 的代码示例

import cv2
import numpy as np

# 读取两张图
img1 = cv2.imread('frame_01.jpg', cv2.IMREAD_GRAYSCALE)
img2 = cv2.imread('frame_02.jpg', cv2.IMREAD_GRAYSCALE)

# 初始化 SIFT
sift = cv2.SIFT_create()

# 检测关键点和描述子
kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)

print(f"图1找到 {len(kp1)} 个特征点")
print(f"图2找到 {len(kp2)} 个特征点")

# 用暴力匹配器匹配
bf = cv2.BFMatcher(cv2.NORM_L2, crossCheck=False)
matches = bf.knnMatch(des1, des2, k=2)

# Lowe's ratio test：筛选好的匹配
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

print(f"好的匹配有 {len(good_matches)} 对")

# 提取匹配点的坐标
pts1 = np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
pts2 = np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)

# 计算仿射变换矩阵
M, mask = cv2.estimateAffinePartial2D(pts1, pts2)
print("变换矩阵：\n", M)

4.3 SURF：SIFT 的加速版

SIFT 虽然好，但太慢了。在手机上跑 SIFT，一帧 1080p 的图像可能要几百毫秒，根本没法实时。

SURF（Speeded-Up Robust Features）是 2006 年提出的，它用积分图加速了 Hessian 矩阵的计算，用 Haar 小波响应代替了梯度直方图。说白了，就是换了一些更快的数学工具。

4.3.1 SIFT vs SURF 对比

对比项	SIFT	SURF
特征检测	DoG（高斯差分）	Hessian 矩阵 + 积分图
描述子维度	128 维	64 维（默认）
旋转不变性	强	强
尺度不变性	强	强
速度	慢	快 3-5 倍
专利	已过期（2020）	未过期（需授权）

我个人建议：如果不在乎专利问题，SURF 是更好的选择。速度优势在嵌入式设备上尤其明显。

4.3.2 SURF 的使用示例

# OpenCV 中 SURF 需要额外安装 opencv-contrib-python
# pip install opencv-contrib-python

import cv2
import numpy as np

img1 = cv2.imread('frame_01.jpg', cv2.IMREAD_GRAYSCALE)
img2 = cv2.imread('frame_02.jpg', cv2.IMREAD_GRAYSCALE)

# 初始化 SURF，hessianThreshold 控制敏感度
surf = cv2.xfeatures2d.SURF_create(hessianThreshold=400)

kp1, des1 = surf.detectAndCompute(img1, None)
kp2, des2 = surf.detectAndCompute(img2, None)

# 匹配和 SIFT 类似
bf = cv2.BFMatcher(cv2.NORM_L2, crossCheck=False)
matches = bf.knnMatch(des1, des2, k=2)

good_matches = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good_matches.append(m)

# 计算变换矩阵
pts1 = np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
pts2 = np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)

M, mask = cv2.estimateAffinePartial2D(pts1, pts2)
print("SURF 变换矩阵：\n", M)

4.4 特征点配准的完整流程

把上面的步骤串起来，完整的流程是这样的：

1. 预处理：转灰度图、降噪（可选）、直方图均衡化
2. 特征检测：用 SIFT/SURF 找关键点
3. 特征描述：计算每个关键点的描述子
4. 特征匹配：用暴力匹配或 FLANN 匹配
5. 筛选匹配：用 Lowe's ratio test 或 RANSAC 剔除误匹配
6. 计算变换：用匹配点对求解仿射变换或单应性矩阵
7. 图像变换：用 warpAffine 或 warpPerspective 对齐图像

这里我画了一张流程图，帮你理清整个逻辑：

4.5 实际部署中的坑

讲完了理论，聊聊我在实际部署中踩过的坑。

第一个坑：内存爆炸

SIFT 的描述子是 128 维 float，一张 1080p 图像如果有 5000 个特征点，光描述子就占 5000×128×4 = 2.5MB。两帧就是 5MB。在手机上这不算什么，但在某些 DSP 或 MCU 上，内存可能只有几十 MB，还要跑其他算法，很容易爆。

我的解决方案：限制特征点数量。SIFT 和 SURF 都支持设置 maxFeatures 参数，我一般设 500-1000 个。

第二个坑：旋转不变性带来的误匹配

多帧降噪的场景下，帧与帧之间通常只有平移和微小旋转（<5度）。但 SIFT 和 SURF 的旋转不变性太强了，会把旋转 180 度的点也匹配上。这在多帧降噪里是灾难——因为实际场景中不会出现这么大的旋转。

我的做法：在匹配时加一个角度约束。只匹配主方向差异小于 30 度的点对。

4.6 什么时候用 SIFT，什么时候用 SURF？

我个人的选择标准很简单：

• PC 端、精度优先：用 SIFT。反正算力够，不在乎那几百毫秒
• 移动端、实时性优先：用 SURF。速度快，精度损失可以接受
• 嵌入式、算力受限：两个都不推荐。后面会讲 ORB 和光流法，更适合嵌入式

另外提一句：SIFT 的专利在 2020 年已经过期了，现在商用没问题。SURF 的专利还在有效期，商用需要授权。如果你做的是商业产品，建议用 SIFT 或者后面会讲的 ORB。

好了，这一章就到这里。特征点配准是帧间配准的经典方法，虽然现在有更快的替代方案，但理解 SIFT/SURF 的原理，对后面学习其他配准方法很有帮助。

---

公众号:蓝海资料掘金营，微信deep3321