[科普中国]-主动形状模型

简介

主动形状模型（ASM）最初由Cootes等人提出的，它在思想上类似于主动轮廓模型，即定义一个能量函数，通过调整模型参数使能量函数最小化。主动形状模型是一种应用广泛且发展成熟的人脸特征点定位方法。人脸特征点定位是人脸识别中的核心问题之一，它指的是在图像或图像序列的给定区域内搜索部分或所有人脸特征(如眼、鼻、嘴、耳等)的位置、关键点或轮廓线。在定位图像中的人脸特征点之前，人脸图像对计算机而言只是像素值的集合;只有定位特征点之后，计算机才能够进一步解释人脸图像。实际上，人脸特征点定位完成了从像素级别的低层语义向特征级别的高层语义的转化。1

基本思想主动形状模型的基本思想是:选取一组人脸图像的训练样本，用形状向量(由所有特征点的坐标组成）描述人脸的形状，首先将训练集中各样本对齐，使样本间形状尽可能相似，再用主成分分析对对齐后的形状向量统计建模，最后在形状向量未知的测试样本上用局部纹理模型搜索满足统计描述范围的最优形状。使用主动形状模型的具体步骤如下：1

1. 计算目标人脸图像的初始形状作为当前形状；

2. 进行下面的循环直至收敛(每一步循环对形状的改动很微小)

对当前形状中的每一个特征点

对当前特征点的邻域内的每一个点

计算该点的局部纹理

用当前特征点所属的局部纹理模型计算该点局部纹理的匹配函数值

在当前特征点邻域的所有点中搜索匹配函数值最小的点并把该点作为

当前特征点

用全局统计模型修正形状

3. 给出目标人脸图像的形状

结构组成主动形状模型可分为两个子模型一一局部纹理模型和全局统计模型。局部纹理模型用于局部搜索，它描述特征点附近的纹理特征，因此可将其作为局部搜索的目标函数，从而局部搜索可看成在特征点的邻域中寻找与该特征点纹理特征最相似的点；全局统计模型用于全局约束，它限定了人脸图像中允许出现的人脸形状。与局部纹理模型不同，它并非单个特征点的模型，而是对所有特征点整体建模，通过计算样本形状向量的统计量来约束可能出现的未知人脸形状。局部搜索时某些特征点可能陷入局部极值，或者由于局部纹理模型描述不充分，导致搜索到的特征点偏差较大，这时，全局统计模型可以对这些点进行修正。1

优缺点ASM 的优点是能根据训练数据对于参数的调节加以限制，从而将形状的改变限制在一个合理的范围内。主动形状模型首先对一组标有特征点图像（称为训练集）的形状和局部灰度建模，然后在搜索过程中不断调节形状和姿态参数从而使形状达到最优。2

与其他统计模型结构比较，ASM模型的优势主要体现在：3

1、它是可变模型，克服了以往刚体模型的缺点，能很好的适应复杂形状的目标定位，有良好的适应性；

2、它是参数化的模型，通过改变参数可以产生一定约束范围内的可容许的形状样本，保持了形状的特异性； 3、充分利用了物体的纹理信息建立局部纹理模型，结合全局形状模型使得定位更加准确。

主动形状模型也具有以下三个显著缺点：

1、主动形状模型的收敛速度和收敛到局部极值的可能性均依赖于初始形状。初始形状距离真实形状较远时，迭代次数会大幅增加，收敛到局部极小值的可能性也会变大；

2、主动形状模型的1D纹理模型仅对法线方向上的像素值采样。该法线模型可较好描述处于人脸轮廓和人脸特征轮廓上的特征点，但对处于人脸内部或人脸特征内部的特征点来说，该模型无法充分描述其局部纹理；

3、主动形状模型的局部搜索策略相当于在法线方向上穷举搜索，遍历法线方向上的所有点并计算它们的模板匹配函数值，然后找到其中匹配值最小的点。这种搜索策略极为简单，没有用到仟何优化搜索策略，因此算法效率较低。

主动形状模型与主动外观模型的比较主动形状模型和主动外观模型(Active Appearance Model, AAM)是可变形模型中实用效果显著且经过广泛研究的两种方法。这两种方法中，主动形状模型用局部纹理模型搜索特征点，用全局统计模型约束特征点集组成的形状，二者反复迭代最终收敛到最优形状;主动外观模型利用形状和外观之间的相关性，把二者组合成为一个向量，从而在搜索最优外观的同时找到最优形状。它们前者速度较快而后者较为准确，可分别应用于实时性和精度要求较高的场合。但是，它们有一个共同的缺点:收敛性—无论速度还是精度一一均依赖于初始形状。若初始形状距离真实形状较远，则不仅迭代次数会大幅增加，而且增大了收敛到局部极小值的可能性。1

改进方向与应用成果鉴于ASM算法在特征提取、目标定位等方面的较好性能，自提出至今一直是各相关领域的研究热点。然后在实际定位过程中，ASM算法存在一定的局限性:比如其仅仅用到了目标物体边界轮廓的纹理信息，定位结果易受初始状态、图像噪声的影响，影响搜索速率和定位精度的搜索长度存在矛盾性等。许多计算机视觉领域的专家与学者对传统ASM进行了研究与改进。3

在ASM特征扩展方面，传统ASM算法中建立的局部纹理模型是基于特征点的灰度梯度信息，简单易算，适用于简单的图像背景下的目标匹配。实际的图像中往往存在光照、噪声等诸多干扰，背景环境也更为复杂，基于简单梯度信息的搜索结果可能极可能出现偏差，导致最终模型无法收敛，不能有效匹配。COOteS在文献中提出了一种改进的局部纹理模型建立方法，利用标志点沿目标轮廓边界法向量方向上内外两侧的灰度信息作差分运算，消除了图像整体灰度影响，大大提高了ASM模型的匹配效果。许多学者在此基础上对这种灰度模型又作了各种优化。Liu等把简单的梯度方向一维灰度模型扩展到以特征点为中心的多领域二维灰度模型，更充分的利用了目标丰富的纹理信息。3

S.Romdhani等用核主成分分析[[42]和支持向量机运用到人脸识别中，将模型中的非线性变化映射到高维线性空间中再进行特征提取，从而可以描述2D图像中的各种3D变化，比如深度旋转和上下旋转等;Jiao和Zhan充分利用小波变换的有效提取特征和屏蔽无关性，基于Gabor小波和Haar小波的不同特征对目标建立纹理模型。M.Rogers和J. Graham用一种更具鲁棒性的最小二乘技术来最小化全局统计模型和未知形状之间的差值，使得全局统计模型表示的形状不容易被特征点中的噪声和野值影响。YZhou等将ASM的形状模型映射到切空间中，用贝叶斯推断估计形状参数，使得贝叶斯切形状模型能更好的与图像序列中的目标轮廓匹配。H.Chen等运用人脸草图的生成方法，检测眼睛和嘴唇的轮廓，在眼角和嘴角附近的高曲率特征点上采用二维纹理模型替换，获得了较好的匹配效果。3

在ASM模型的基础上，Cootes等人为提高定位效果，进一步提出了主动表观模型C Active Appearance Models(AAM)。主动表观模型是对ASM算法在纹理模型上的扩充，把目标的局部纹理模型扩充为全局纹理模型，融合统计形状和纹理建立为表观模型用于目标定位。在搜索过程中，假设两种线性映射:从表观变化到纹理变化，再从纹理变化到位置变化。依据他们相互映射关系来调整模型参数，获得与目标相匹配的形状模型和纹理模型。计算当前得到的形状模型纹理和目标图像纹理之间的差值，当两者之差达到最小时，认为合成图像与待检测图像最为接近，停止搜索生成最优匹配结果。主动表观模型不仅可以提取目标物体的形状特征，还可以表达目标物体的纹理特征，是特征提取和目标识别研究领域又一里程碑式算法。但是，主动表观模型的运用也有较大局限性。该算法假设形状和外观与差分图像成线性关系，在此基础上更新模型参数。而事实上由于光照变化、环境噪声等干扰，线性关系并不成立，因此参数的更新也不准确。另外，由于加入了目标图像的整体纹理信息，主动表观模型比主动形状模型的计算数据量明显增加，运行较慢，达不到快位定位的效果。3

在提高ASM搜索速率方面，Cootes等提出了多分辨率搜索策略来改进传统ASM算法，通过由粗到精的策略既可以提高拟合的精度，又能提高搜索的速度，即使初始模型离目标位置较远，利用多分辨率搜索策略也能实现较为快速的定位。在此基础上，Davatzikos等采用了小波变换的方法来实现多尺度多分辨率ASMo Yan等提出了一种改进的TC-ASM算法，利用全局纹理信息限制形状的变化，使得对目标性状的定位更为精确，收敛速率更为快速。Rogers等用改进的最小二乘法对全局统计模型和目标形状模型计算最小差值，使得全局统计模型表示的目标形状更具有鲁棒性，同时被成功运用于医学图像处理。GHamarneh等充分借鉴Snake模型能生成光滑连续的边界曲线的优点，结合ASM模型能保持目标特异性的优点，将改进的方法进行医学图像分割。Yuan等用支持向量机(Support Vector Machine SVM)作为分类器，避免了搜索过程中相邻特征点之间的关系发生改变。Gross等提出针对训练集个体进行建模，同时研究了物体发生被遮挡情况时的建模问题和搜索策略，提高了定位的准确性。3