[科普中国]-兴趣点检测器

兴趣点，又被称作为点特征，指的是图像中具有特殊性质的像素点，是图像的重要特征。它具有旋转不变性和不随光照条件变化的优点。一些图像处理中利用点特征进行处理既可以减少计算量又不会损失重要的灰度信息。经过对它们执行局部分析，如果能够检测到足够多的这种点，同时它们区分度很高，并且可以精确定位稳定的特征。这类点被大量用于解决物体识别，图像匹配，视觉跟踪，三维重建等问题。

我们怎么样才能找到能够在其他图像中稳定匹配的图像位置？即什么是适合跟踪的特征？

无明显纹理结构的图像块几乎不可能定位，而拥有较大对比度变化（梯度）的则比较容易定位，尽管一个单一方向的直线段存在着“孔径问题”1，也就是说，仅可能沿着边缘方向的法线方向进行对齐。拥有至少两个（明显）不同方向梯度的图像块最容易定位。

用最简单的可能匹配策略来比较两个图像块，也就是，它们的（加权）差的平方和：

其中， 和 是两幅需要比较的图像， 是平移向量， 是空间上变化的权重（或窗口）函数，求和变量i 作用于块中的全体图像像素。

在进行特征检测时，我们不知道该特征被匹配时会终止于哪些相对的其他图像位置的匹配。因此，我们只能在一个小的位置变化区域 内，通过与原图像块进行比较来计算这个匹配结果的稳定度，这就是通常所说的“自相关函数”或自相关表面。

使用图像函数 的泰勒展开式，我们将自相关表面近似为：

其中，A为自相关矩阵

矩阵A的逆矩阵给出了匹配块所在位置不确定度的一个下界。这一点最初由Anandan指出。因而，对于哪一个块可以稳定匹配，它是一个非常有用的指示器。为了可视化和分析这个不确定度，最简单的方法是对自相关矩阵A进行特征值分析，这就产生了两个特征值 ，和两个特征向量方向。因为较大的不确定度取决于较小的特征值，所以通过寻找较小的特征值的最大值寻找好的特征以便于跟踪。

尽管 Anandan, Lucas and Kanade 2是第一个分析自相关矩阵不确定性结构的，但是它们当时的背景是为光流测量确定性。Forstern 3和 Harris and Stephens4是第一个提出使用从自相关导出的旋转不变测量的局部最大值来定位关键点以达到匹配稀疏特征之目的。Schmid , Mohr and Bauckage ；Triggs等给出了更具体的关于特征检测算法的历史回顾。这两种方法都提出使用高斯权重窗口来替换方块图像块，这使检测的响应对于图像平面内旋转不敏感。

特征值的最小值不是唯一可以用来寻找关键点的量，另一个由Harris and Stephens 提出的更简单的量是：

其中，a=0.05。

与特征分析不同，这个量不要求使用平方根且仍能保持旋转不变，同时降低了那些的边界类权重。

Triggs建议使用这个量：

它能够减小1维的边缘响应，但图像失真错误有时会使较小的特征值变大。他也指出了如何将基本的2×2 Hessian矩阵扩展到参数化运动中来，以检测那些能够在尺度和旋转变化下可准确定位的点。

另一方面，Brown,Szeliski and Winder使用调和均值：

在的区域，它是一个更加平滑的函数。

由于大多数特征点检测器只寻找兴趣函数的局部最大值，所以这通常会导致图像上特征点的非均匀分布，比如，在对比度较大的区域，特征点就会比较密集，为了缓解这个问题，Brown,Szeliski and Winder就只检测那些同时是局部最大值且其响应明显大于（10%）其周围半径r区域内的响应的特征。他们设计了一种高效的为所有局部最大值关联一个抑制半径的方法，这种方法首先根据特征点的响应强度对其进行排序，然后通过不断减小抑制半径大小来建立第二个排序列表。

计算机视觉领域中开发有各种各样的特征检测器，我们如何决定使用哪一个呢？

Schmid,Mohr and Bauckhage5第一个提出了衡量特征检测器的可重复性思想，他们将可重复性定义在一幅图像中检测到的关键点在另一幅变换过的图像中的对应位置的个像素范围内找到的频率。在他们的论文中，他们对平面图像进行各种变换，包括旋转、尺度变换、光照变化、视角变化以及增加噪声。他们同时也衡量了检测到的每一个特征点的“可用信息量”，这个信息量被定义为一个旋转不变的局部灰度描述子集合的熵。

在很多情况下，在最精细的稳定尺度上检测特征点可能不是很合适。比如，在匹配那些缺乏高频细节的图像时，精细尺度的特征可能不存在。

这个问题的一种解决方法时在不同的尺度上提取特征点，比如，通过在图像金字塔的多个分辨率上都进行这样的操作，然后在同一个水平上进行特征匹配。这种方法对于待匹配的图像无较大尺度变化时比较合适，比如，匹配从飞机上拍摄到的鸟瞰图序列时或者在做又固定焦距摄像机拍摄的全景图拼接时。

除了处理尺度变化，大多数图像匹配和物体识别算法需处理（至少）平面内图像旋转。处理这个问题的一种途径是设计出旋转不变的描述子，但是这些描述子区分性较弱，也就是说，对于同一个描述子，它们映射出不同的块。

一个较好的方法是在检测到的每一个关键点估计一个“主导方向”。一旦估计出一个关键点的局部方向和尺度，就可以在检测出的关键点附近提取出一个特定尺度和方向的图像块。