[科普中国]-影像匹配

概念

最初的影像匹配是利用相关技术实现的，因而也有人称影像匹配为影像相关。它是图像融合、目标识别、目标变化检测、计算机视觉等问题中的一个重要前期步骤，在遥感、数字摄影测量、计算机视觉、地图学以及军事应用等多个领域都有着广泛的应用。1

特征由于原始相片中的灰度信息可转换为电子、光学或数字等形式的信号，因而可构成电子相关、光学相关或数字相关等不同的相关方式；而由于可运用于多个领域中，影像相关所匹配的对象也是多种多样的，如卫星遥感影像、航空摄影影像、近景摄影影像等，这些原始数据往往都不是理想的数据源，因此要针对各种特点选择合适的算法进行匹配。但一般来说，无论是光学相关、电子相关还是数字相关，所匹配的对象也有不同，但其理论基础都是相同的。

影像相关是利用互相关函数，评价两块影像的相似性以确定同名点。即首先取出以待定点为中心的小区域中的影像信号，然后取出其在另一影像中相应区域的影像信号，计算二者的相关函数，以相关函数最大值对应的相应区域中心点为同名点。即以影像信号分部最相似的区域为同名区域，同名区域的中心点为同名点。这也是自动化立体量测的基本原理。

同名点的确定是以匹配测度为基础的，因此定义匹配测度是影像匹配最首要的任务，基于不同的理论或不同的思想可以定义各种不同的匹配测度，因而形成了各种影像匹配方法及相应的实现算法。常见的基于像方灰度的影像匹配算法有相关函数法、协方差函数法、相关系数法、差平方和法、差绝对值和法、最小二乘法等，基于物方的影像匹配算法有铅垂线轨迹法（VLL，Vertical Line Locus），另外还有基于像方特征的跨接法影像匹配，金字塔多级影像匹配， SIFT等等。1

影像匹配算法按照影像中需要进行匹配的像点的相对数目，影像匹配可分为稀疏匹配和稠密匹配两类。稀疏匹配产生稀疏的视差矩阵，主要用于确定视点与影像以及影像之间的相对位置关系。稠密匹配通常要求获得整个影像或者影像主要部分的深度图。按照匹配元素选择不同，影像匹配可以分为灰度区域匹配和特征匹配。灰度区域匹配按照像素灰度进行匹配，特征匹配使用边缘等影像特征进行匹配。实际上，像素灰度也是一种影像特征，特征也不一定是某些可以解释的几何特征。具有可分辨性、不变性和稳定性的属性都可以作为匹配特征。

主要的匹配算法可以分为局部算法和全局算法两大类。

局部算法局部算法主要有块匹配算法、基于梯度的优化算法和基于特征的匹配算法等。

认为利用影像的局部信息足以实现影像匹配，不需要全局优化。算法基于相似匹配元的选择，定义适当的匹配窗口和匹配原则是十分重要的。

典型的匹配代价函数有差平方和(SSD)，绝对差之和(SAD)以及标准化互相关(NCC)等。

1、块匹配算法在局部小区域内寻找最佳匹配使匹配误差最小，通常使用规范化互相关方法，包括规范化互相关、平方差之和、规范化平方差之和、绝对差之和方法等。

2、基于梯度的优化算法在局部区域内通过最小化图像间平方差的和来实现匹配。该算法假设场景中同一个点在两个视图内的影像亮度不变。通过建立运动和影像亮度的微分方程来计算局部小区域内的视差。

块匹配算法和基于梯度的匹配算法对于图像的局部不连续和一致性纹理问题敏感，无法得到满意的解答，从而使基于特征匹配的算法得到发展，如基于分层的特征匹配和基于图像分割的匹配算法等。

对于局部匹配算法，窗口的选择非常重要。窗口必须足够大以获取可靠的匹配，同时又必须足够小以避免投影变形的影响。而且，窗口的形状必须保证具有足够的可分辨性。

目前，已经设计出了许多解决这个问题的窗口，例如可移动式窗口、大小自适应窗口、影像分割窗口、等视差邻接窗口以及视差空间模型窗口等。2

全局算法全局算法使用全局约束解决由于遮挡和一致性纹理造成的局部匹配失败问题。全局对应算法包括动态规划算法、本征曲线算法、最大流量图算法、最小割集算法、非线性扩散算法、信心传播算法等。

核心是：全局匹配需要首先定义一个先验模型，通过最小化全局函数获得问题的解。模型的选定决定了最后的解。

1、动态规划算法通过将优化问题分解为更小、更简单的子问题从而降低计算复杂度，通常使用外极线来实现次序约束。

2、本征曲线是对图像按扫描线计算边缘或点特征的描述矢量，算法将外极线映射到本征曲线空间从而将搜索问题转化为最小邻居查找问题，并通过动态规划解决二义性问题。本征曲线的主要优点是它对视差的不变性。

3、最大流量图划分算法将视差表面作为最大流量图中的最小割边集进行求解。

4、非线性扩散算法通过局部扩散处理提供聚类支持。

局部算法具有较高的效率，但是容易受到遮挡、纹理等问题的影响。与此相反，全局算法对上述问题不敏感，但计算效率较差。2

影像匹配算法性能评价指标匹配算法的性能评价指标主要有：匹配概率、匹配精度、匹配速度。

匹配概率，是正确匹配次数与总的匹配次数之比。

匹配精度，是正确匹配的匹配误差均方差，描述了匹配的准确性。由于噪声和其他误差因素的影响，图像匹配时最终得出的匹配位置和真正的匹配位置是不同的，估计匹配点和真正匹配点之间存在一定的随机偏差，该偏差称为匹配误差。显然匹配误差的方差越小，则定位精度越高。

匹配速度，是指匹配算法的快慢程度，说明了搜索的快速性。

一个好的匹配算法要求匹配概率尽可能高，匹配误差小，算法计算快，能满足应用环境对实时性的要求2。