[科普中国]-分段特征

简介

分段特征是指将研究对象的特征分成不同的部分或是指将一个特征分成不同部分。分段特征是特征工程的一部分，通过分段特征，更好地理解和识别特征有关特性，从而更精确地进行识别对象或特征识别，例如将图像转化为空间频率域，用卷积神经网络识别图像等。

空间频率域以空间频率(即波数)为自变量描述图像的特征，可以将一幅图像像元值在空间上的变化分解为具有不同振幅、空间频率和相位的简振函数的线性叠加，图像中各种空问频率成分的组成和分布称为空间频谱。这种对图像的空间频率特征进行分解、处理和分析称为空间频率域处理或波数域处理。和时间域与频率域可互相转换相似,空间域与空间频率域也可互相转换。在空间频率域中可以引用已经很成熟的频率域技术，处理的一般步骤为：对图像施行二维离散傅立叶变换或小波变换,将图像由图像空间转换到频域空间。在空间频率域中对图像的频谱作分析处理,以改变图像的频率特征。即设计不同的数字滤波器,对图像的频谱进行滤波。频率域处理主要用于与图像空间频率有关的处理中。如图像恢复、图像重建、辐射变换、边缘增强、图像锐化、图像平滑、噪声压制、频谱分析、纹理分析等处理和分析中。

卷积神经网络1962 年，生物学家 Hubel 和 Wiesel 通过对猫脑视觉皮层的研究，发现在视觉皮层中存在一系列复杂构造的细胞，这些细胞对视觉输入空间的局部区域很敏感，它们被称为“感受野”。感受野以某种方式覆盖整个视觉域，它在输入空间中起局部作用，因而能够更好地挖掘出存在于自然图像中强烈的局部空间相关性。被称为感受野的这些细胞分为简单细胞和复杂细胞两种类型。根据Hubel-Wiesel 的层级模型，在视觉皮层中的神经网络有一个层级结构：LGB（外侧膝状体）→简单细胞→复杂细胞→低阶超复杂细胞→高阶超复杂细胞。低阶超复杂细胞与高阶超复杂细胞之间的神经网络结构类似于简单细胞和复杂细胞间的神经网络结构。在该层级结构中，处于较高阶段的细胞通常会有这样一个倾向：对刺激模式更复杂的特征进行选择性响应；同时也具有一个更大的感受野，对刺激模式位置的移动也更不敏感1。1980 年，Fukushima 根据 Huble 和 Wiesel 的层级模型提出了结构与之类似的神经认知机（Neocognitron）。神经认知机采用简单细胞层（S-layer，S 层）和复杂细胞层（C-layer，C 层）交替组成，其中 S 层与Huble-Wiesel 层级模型中的简单细胞层或者低阶超复杂细胞层相对应，C 层对应于复杂细胞层或者高阶超复杂细胞层。S 层能够最大程度地响应感受野内的特定边缘刺激，提取其输入层的局部特征，C层对来自确切位置的刺激具有局部不敏感性。尽管在神经认知机中没有像 BP 算法那样的全局监督学习过程可利用，但它仍可认为是 CNN 的第一个工程实现网络，卷积和下采样分别受启发于Hubel-Wiesel 概念的简单细胞和复杂细胞，它能够准确识别具有位移和轻微形变的输入模式。随后，LeCun 等基于 Fukushima 的研究工作使用误差梯度回传方法设计并训练了 CNN（该模型称为LeNet-5），LeNet-5 是经典的 CNN 结构，后续有许多工作基于此进行改进，它在一些模式识别领域中取得了良好的分类效果。CNN 的基本结构由输入层、卷积层、取样层、全连接层及输出层构成。卷积层和取样层一般会取若干个，采用卷积层和取样层交替设置，即一个卷积层连接一个取样层，取样层后再连接一个卷积层，依此类推。由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，卷积神经网络也由此而得名。

特征工程特征工程是机器学习领域的一个重要概念，目前并没有普遍接受的定义，一般可以认为是为机器学习应用而设计特征集的相关工作。主要涉及两个方面的因素：a)了解要解决的问题和要使用的机器学习算法的优势和限制；b)进行实践，通过实验从而更好地掌握哪种特征更为合理，哪种特征并不符合所处理的问题或所选择的机器学习方法。这两方面的影响因素可以是一个螺旋式迭代过程，对问题自顶而下的理解有助于实验工作的展开；同时在实验中所获得的自底而上的信息者会帮助更好地理解要解决的问题，揭示蕴涵的问题本质。图像理解是机器学理论的重要应用领域，特征工程自然在整个图像理解中占有举足轻重的地位。近年来，图像整体场景理解虽然在复杂性和综合性方面远胜于基本图像理解任务，但其在各项研究和工程实践中均展示了卓越的性能，因而成为了当前图像理解研究中的热点和难点。基于概率论和图论的模型能很好地刻画这种整体性， 成为了当前整体场景理解中普遍采用的模型。要利用概率图模型的方法开展整体场景理解(显著性检测、场景分类、多类图像分割、模型集成等)研究，获取整体场景理解所需数据即提取相关特征是其第一项基础性任务2。

特征选择在机器学习和统计学中，特征选择（英语：feature selection）也被称为变量选择、属性选择 或变量子集选择 。它是指：为了构建模型而选择相关特征（即属性、指标）子集的过程。使用特征选择技术有三个原因：简化模型，使之更易于被研究人员或用户理解，缩短训练时间3，改善通用性、降低过拟合（即降低方差 ）。要使用特征选择技术的关键假设是：训练数据包含许多冗余 或无关 的特征，因而移除这些特征并不会导致丢失信息。 冗余 或无关 特征是两个不同的概念。如果一个特征本身有用，但如果这个特征与另一个有用特征强相关，且那个特征也出现在数据中，那么这个特征可能就变得多余。特征选择技术与特征提取有所不同。特征提取是从原有特征的功能中创造新的特征，而特征选择则只返回原有特征中的子集。 特征选择技术的常常用于许多特征但样本（即数据点）相对较少的领域。特征选择应用的典型用例包括：解析书面文本和微阵列数据，这些场景下特征成千上万，但样本只有几十到几百个。特征选取方法可以分为包装(wrapper)、 过滤(filter)和嵌入(embedded)方法。包装类型方法采用预测模型方式，对每一子集特征通过错误率进行评分。由于对每一子集特征都需要进行打分， 包装类型算法往往计算代价高， 所以很难被运用到大规模数据挖掘分析工作中。过滤类型方法通过一种代理评价标准而非错误率来评估子集特征。嵌入类型方法将特征选择技术嵌入到模型训练中， 比如最小绝对收缩和选择算子(least absolute shrinkage and selection operator， LASSO) 在构建线性模型时， 通过回归系数压缩特征， 仅选取在这一阶段中系数不为零的特征。

特征学习在机器学习中，特征学习或表征学习是学习一个特征的技术的集合：将原始数据转换成为能够被机器学习来有效开发的一种形式。它避免了手动提取特征的麻烦，允许计算机学习使用特征的同时，也学习如何提取特征：学习如何学习。机器学习任务，例如分类问题，通常都要求输入在数学上或者在计算上都非常便于处理，在这样的前提下，特征学习就应运而生了。然而，在我们现实世界中的数据例如图片，视频，以及传感器的测量值都非常的复杂，冗余并且多变。那么，如何有效的提取出特征并且将其表达出来就显得非常重要。传统的手动提取特征需要大量的人力并且依赖于非常专业的知识。同时，还不便于推广。这就要求特征学习技术的整体设计非常有效，自动化，并且易于推广。特征学习可以被分为两类：监督的和无监督的，类似于机器学习。在监督特征学习中，被标记过的数据被当做特征用来学习。例如神经网络，多层感知器，(监督)字典学习。在无监督特征学习中，未被标记过的数据被当做特征用来学习。例如(无监督)字典学习，独立成分分析，自动编码，矩阵分解 ，各种聚类分析及其变形