[科普中国]-局部图像变换算子

背景

目前计算机视觉领域的图像内容表示方法分为基于全局特征的图像内容表示方法和基于局部特征的图像内容表示方法。为提高图像内容表示的性能，研究者提出了大量的图像区域描述算法，其中部分描述算法是为全局特征设计的，部分是为局部特征设计的。由于全局特征和局部特征描述算子在本质上没有明显差别，全局特征描述算子用于描述局部图像区域即可作为局部特征描述算子，而局部特征描述算子用于描述整幅图像，即可视为全局特征描述子。

图像区域表示是计算机视觉和模式识别领域的重要问题，图像区域能力的强弱，直接决定着后续图像内容分类、识别和检索等高级处理的结果。一种较好的局部图像算子应该具备：重复性、判别性、局部不变性、富含信息、量化描述以及精确高效等特性。

局部图像算子是图像特征的局部表达，它反映了图像上具有的局部特殊性，适合于对图像进行匹配，检索等应用。而全局图像算子更反映一些全局特征，如颜色分布，纹理特征，主要物体的形状等。全局图像算子容易受到环境的干扰，光照、旋转、噪声等不利因素都会影响全局特征。相比而言，局部图像算子，往往对应着图像中的一些线条交叉，明暗变化的结构中，受到的干扰也少。

基于分布统计的描述算子基于分布统计的描述算子使用直方图表现图像的不同外观或形状特点下面，下面为几种应用比较广泛的基于分布统计的描述算子。1

SIFT描述算子可以用来描述任意的归一化后的图像区域，是一个3D梯度位置方向直方图，位置被量化到4×4局部栅格，梯度角度分为8个方向，算子为4×4×8=128维。

GLOH 描述算子GLOH是SIFT描述子的一种延伸，为了增强其鲁棒性和独立性。以对数极坐标在半径方向建立三个带（6，11，15）和8个角度方向，形成17个位置带，中心带在半径方向不分块。梯度方向量化为16个带，形成272维矢量，并利用PCA降维。

Shape context描述算子与SIFT描述算子相似，但是基于边缘 Shape context是一个边缘点位置和方向的3D直方图，以对数极坐标在半径方向建立三个带（6，11，15）和4个角度方向，生成36维描述子。

Geometric histogram描述算子在一个区域内描述边缘分布直方图。

PCA-SIFT描述算子以特征点周围39×39像素块形成3024维矢量，用PCA降维36维。

Spin image描述算子是一个量化像素位置和强度的直方图 ，在5个圆环中计算10个强度带，生成50维算子。

基于矩的描述算子针对于一幅图像，我们把像素的坐标看成是一个二维随机变量（X,Y）,那么一幅灰度图像可以用二维灰度密度函数来表示，因此可以用矩来描述灰度图像的特征。矩和不变矩是一种常用的局部图像算子。矩特征主要表征了图像区域的几何特征，又称为几何矩， 由于其具有旋转、平移、尺度等特性的不变特征，所以又称其为不变矩。它是一处高度浓缩的图像特征。

基于滤波器的描述算子Koenderink 和 VanDoorn 提出利用"local jet"建模人类视觉系统的感应域，后来该描述方法被Schmid和Mohr用来描述图像区域。该描述算法基本思想是通过对待描述图像区域与高斯函数的各阶导数实施卷积运算而得到待描述区域的量化表示。Schaffalitzky和Zisserman利用复数滤波器进行图像表示。该描述子首先对待描述图像区域进行变换，以达到对光照和仿射具备一定的不变性，然后，在处理后的局部图像区域上使用滤波器组滤波。除了上面提到的各滤波器，还有其他很多基于滤波器的图像区域内容表示方法，如Schaffalitzky和Zisserman提出了复数滤波器图像区域描述子。1这些特征对图像内容的几何形变以及一维仿射变换，都具有很好的鲁棒性。[1]

微分算子一阶微分边缘算子，经典算子比如：Roberts(罗伯特)、Prewitt（普鲁伊特）、Sobel(索贝尔)，Canny（坎尼）等，二阶微分边缘算子，LOG边缘检测算子。2

Sobel算子Sobel算子是典型的基于一阶导数的边缘检测算子，由于该算子中引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好的消除噪声的影响。Sobel算子对于象素的位置的影响做了加权，与Prewitt算子、Roberts算子相比因此效果更好。

Sobel算子包含两组3x3的矩阵，分别为横向及纵向模板，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。

Robert算子是一种最简单的算子，是一种利用局部差分算子寻找边缘的算子，他采用对角线方向相邻两象素之差近似梯度幅值检测边缘。检测垂直边缘的效果好于斜向边缘，定位精度高，对噪声敏感,无法抑制噪声的影响。1963年，Roberts提出了这种寻找边缘的算子。

Roberts边缘算子是一个2x2的模板，采用的是对角方向相邻的两个像素之差。从图像处理的实际效果来看，边缘定位较准，对噪声敏感。适用于边缘明显且噪声较少的图像分割。Roberts边缘检测算子是一种利用局部差分算子寻找边缘的算子,Robert算子图像处理后结果边缘不是很平滑。经分析，由于Robert算子通常会在图像边缘附近的区域内产生较宽的响应，故采用上述算子检测的边缘图像常需做细化处理，边缘定位的精度不是很高。

Prewitt算子该算子与Sobel算子类似，只是权值有所变化，但两者实现起来功能还是有差距的，据经验得知Sobel要比Prewitt更能准确检测图像边缘。

Prewitt算子是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用 。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘。

对数字图像f(x，y)，Prewitt算子的定义如下：

G(i)=|[f(i-1,j-1)+f(i-1,j)+f(i-1，j+1)]-[f(i+1,j-1)+f(i+1，j)+f(i+1，j+1)]|

G(j)=|[f(i-1,j+1)+f(i,j+1)+f(i+1，j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1，j-1)]|

则 P(i,j)=max[G(i),G(j)]或 P(i,j)=G(i)+G(j)

经典Prewitt算子认为：凡灰度新值大于或等于阈值的像素点都是边缘点。即选择适当的阈值T，若P(i,j)≥T，则(i,j)为边缘点，P(i,j)为边缘图像。这种判定是欠合理的，会造成边缘点的误判，因为许多噪声点的灰度值也很大，而且对于幅值较小的边缘点，其边缘反而丢失了。因为平均能减少或消除噪声，Prewitt梯度算子法就是先求平均，再求差分来求梯度。该算子与Sobel算子类似，只是权值有所变化，但两者实现起来功能还是有差距的，据经验得知Sobel要比Prewitt更能准确检测图像边缘。

Canny算子该算子实现起来较为麻烦，Canny算子是一个具有滤波，增强，检测的多阶段的优化算子，在进行处理前，Canny算子先利用高斯平滑滤波器来平滑图像以除去噪声，Canny分割算法采用一阶偏导的有限差分来计算梯度幅值和方向，在处理过程中，Canny算子还将经过一个非极大值抑制的过程，最后Canny算子还采用两个阈值来连接边缘。

Canny边缘检测算法：

step1: 用高斯滤波器平滑图象；

step2: 用一阶偏导的有限差分来计算梯度的幅值和方向；

step3: 对梯度幅值进行非极大值抑制

step4: 用双阈值算法检测和连接边缘

Laplacian算子拉普拉斯算子是一种二阶微分算子，若只考虑边缘点的位置而不考虑周围的灰度差时可用该算子进行检测。对于阶跃状边缘，其二阶导数在边缘点出现零交叉，并且边缘点两旁的像素的二阶导数异号。

Laplace算子是一种各向同性算子，二阶微分算子，在只关心边缘的位置而不考虑其周围的象素灰度差值时比较合适。Laplace算子对孤立象素的响应要比对边缘或线的响应要更强烈，因此只适用于无噪声图象。存在噪声情况下，使用Laplacian算子检测边缘之前需要先进行低通滤波。所以，通常的分割算法都是把Laplacian算子和平滑算子结合起来生成一个新的模板。

Laplacian算子一般不以其原始形式用于边缘检测，因为其作为一个二阶导数，Laplacian算子对噪声具有无法接受的敏感性；同时其幅值产生算边缘，这是复杂的分割不希望有的结果；最后Laplacian算子不能检测边缘的方向；所以Laplacian在分割中所起的作用包括：（1）利用它的零交叉性质进行边缘定位；（2）确定一个像素是在一条边缘暗的一面还是亮的一面；一般使用的是高斯型拉普拉斯算子（Laplacian of a Gaussian,LoG)，由于二阶导数是线性运算，利用LoG卷积一幅图像与首先使用高斯型平滑函数卷积改图像，然后计算所得结果的拉普拉斯是一样的。所以在LoG公式中使用高斯函数的目的就是对图像进行平滑处理，使用Laplacian算子的目的是提供一幅用零交叉确定边缘位置的图像；图像的平滑处理减少了噪声的影响并且它的主要作用还是抵消由Laplacian算子的二阶导数引起的逐渐增加的噪声影响。

LoG算子也就是 Laplace of Gaussian function（高斯拉普拉斯函数）。常用于数字图像的边缘提取和二值化。LoG 算子源于D.Marr计算视觉理论中提出的边缘提取思想, 即首先对原始图像进行最佳平滑处理, 最大程度地抑制噪声, 再对平滑后的图像求取边缘。

发展现状及趋势局部图像算子的提取通常是作为计算机视觉与数字图像处理中许多问题的第一步,例如图像分类、图像检索、宽基线匹配等，提取特征的优劣直接影响任务的最终性能。因此，局部特征提取方法具有重要的研究价值。然而，图像经常发生尺度、平移、旋转、光照、视角以及模糊等变化，特别是在实际应用场景中，图像不可避免的会存在较大噪声干扰、复杂背景和较大的目标姿态变化。这就给图像局部特征提取问题带来了更大的挑战。因此，局部图像算子研究仍然具有重要的理论意义和应用价值，值得研究者继续关注。2