3、图像配准基础：配准概念与意义、特征点提取（SIFT、SURF、ORB）、特征匹配（暴力匹配、FLANN）、单应性变换

各位同学，咱们今天聊聊图像配准。说白了，就是把两张不同角度、不同时间、甚至不同传感器拍的照片，给它们“对齐”了。

我刚开始做热成像融合那会儿，总觉得配准是个“差不多就行”的活儿。结果有一次，把可见光和热图叠在一起，边缘全是重影，领导看了直摇头。嗯，从那以后，我再也不敢小看配准了。

3.1 配准概念与意义

图像配准，就是找两张图之间的空间对应关系。你想想看，热成像和可见光，一个拍温度，一个拍纹理，它们天生就不在一个坐标系里。不配准，融合就是“鬼影重重”。

配准的意义，我总结三点：

• 空间对齐：让热图中的每个像素，都能对应到可见光中正确的位置。
• 信息互补：只有对齐了，温度信息和纹理信息才能叠加到同一个物体上。
• 精度保障：配准精度直接决定融合效果。差一个像素，边缘就糊了。

3.2 特征点提取：SIFT、SURF、ORB

配准的第一步，是找“特征点”。什么是特征点？就是图像里那些“与众不同”的地方——角点、边缘、纹理突变处。

我个人习惯用这三种算法，各有千秋：

3.2.1 SIFT（尺度不变特征变换）

SIFT 是祖师爷级别的算法。它最大的优点是“尺度不变”——不管图像放大还是缩小，它都能找到同样的点。

我在项目中遇到过一个问题：热成像分辨率低，可见光分辨率高，两者尺度差很多。用 SIFT 就稳得很，因为它自带尺度空间检测。

缺点也很明显：慢。实时系统基本别想用 SIFT。

// OpenCV 中提取 SIFT 特征点
Ptr<SIFT> sift = SIFT::create();
vector<KeyPoint> keypoints;
Mat descriptors;
sift->detectAndCompute(img, Mat(), keypoints, descriptors);

3.2.2 SURF（加速稳健特征）

SURF 是 SIFT 的“加速版”。它用积分图代替了高斯金字塔，速度能快好几倍。

我记得有一次做安防项目，要求实时处理 25 帧/秒。SIFT 跑不动，换成 SURF 就刚好卡在线上。不过现在 SURF 有专利问题，商用要小心。

3.2.3 ORB（定向 FAST 和旋转 BRIEF）

ORB 是我现在用得最多的。为什么？因为它又快又免费！

ORB 结合了 FAST 角点检测和 BRIEF 描述子，还加了方向信息。说白了，它没有 SIFT 那么“全能”，但在大多数场景下够用了。

避坑指南：我曾经在弱光环境下用 ORB，结果特征点全集中在噪声区域。后来加了高斯滤波预处理，才稳住。

// ORB 特征提取
Ptr<ORB> orb = ORB::create(500);  // 500个特征点
vector<KeyPoint> kp;
Mat desc;
orb->detectAndCompute(img, Mat(), kp, desc);

算法	速度	精度	尺度不变	旋转不变	专利
SIFT	慢	高	是	是	有
SURF	中	高	是	是	有
ORB	快	中	否	是	无

3.3 特征匹配：暴力匹配 vs FLANN

特征点提取完了，接下来就是“找对象”——把两张图里的特征点配对。

3.3.1 暴力匹配（Brute-Force）

暴力匹配，顾名思义，就是“一个一个比”。每个特征点跟另一张图的所有特征点算距离，挑最近的。

优点：简单、准确。缺点：慢。特征点一多（比如上千个），计算量就爆炸了。

// 暴力匹配
BFMatcher matcher(NORM_L2);
vector<DMatch> matches;
matcher.match(desc1, desc2, matches);

3.3.2 FLANN（快速最近邻搜索库）

FLANN 是“聪明版”的匹配。它用 KD-Tree 或 K-Means 树来加速搜索，速度能快一个数量级。

我建议：特征点超过 500 个，果断上 FLANN。低于 500，暴力匹配也够用。

// FLANN 匹配（适用于 SIFT/SURF）
FlannBasedMatcher matcher(new flann::KDTreeIndexParams(5));
vector<DMatch> matches;
matcher.match(desc1, desc2, matches);

// FLANN 匹配（适用于 ORB）
Ptr<flann::IndexParams> indexParams = makePtr<flann::LshIndexParams>(12, 20, 2);
FlannBasedMatcher matcher(indexParams);
matcher.match(desc1, desc2, matches);

3.4 单应性变换

匹配完了，我们得到一堆“点对”。但这些点对里可能有错的（误匹配）。单应性变换就是用来“拟合”这些点对，找到两张图之间的透视变换关系。

单应性矩阵 H 是一个 3x3 的矩阵，它能把一张图上的点映射到另一张图上。说白了，就是“怎么扭、怎么转、怎么缩放，才能让两张图对上”。

// 用 RANSAC 计算单应性矩阵
vector<Point2f> srcPoints, dstPoints;
// ... 从匹配结果中提取点对 ...
Mat H = findHomography(srcPoints, dstPoints, RANSAC, 3.0);

// 应用变换
Mat warped;
warpPerspective(img1, warped, H, img2.size());

RANSAC 是这里的关键。它能在大量误匹配中，找到“最靠谱”的那组变换。我一般把阈值设成 3 个像素，太松了容易引入错误，太紧了又找不到足够的内点。

知识体系总览

下面这张图，是我自己画的配准流程。你跟着走一遍，基本不会出错。

嗯，配准这块内容不少，但核心就这几步：找特征、配特征、算变换。你只要把每一步的“坑”都踩一遍（或者看我踩过的坑），后面做融合就顺了。