[科普中国]-费雪线性判别

在模式识别中，费雪线性判别（Fisher's linear discriminant）是一种线性判别方法。

简介在模式识别中，费雪线性判别（Fisher's linear discriminant）是一种线性判别方法，其意图是将d维空间中的数据点投影到c-1维空间上去，使得不同类的样本点在这个空间上的投影尽量分离，同类的尽量紧凑。1

两类情况在二类判别时，费雪线性判别将d维空间中的数据点投影到一条直线上去，使得不同类的样本点在这条直线上的投影尽量分离，同类的样本点在这条直线上尽量紧凑。假设有两类样本集的类别为ω1，样本数为n1，的类别为ω2，样本数为n2。定义样本均值mi和类内散布Si。

投影直线的方向向量为w，样本投影在直线上的值为y。则可得两类样本投影后的均值和类内散布为，i=1,2。

在两个类别的分布是多元正态分布，且协方差矩阵相同时，根据贝叶斯决策理论，，并且w0是一个与w和先验概率有关的常数。我们可以用样本均值与样本协方差去估计ui和Σ。更一般地说，如果我们对投影后的数据进行平滑，或用一维高斯函数进行拟合，ω0就位于使两类的后验概率相同的位置上。

多类情况费雪线性判别在面对二类判别时，将两类样本向一条直线投影，也就是将数据从d维空间向1维空间投影。这样在面对c个类的判别时，所要做就是将数据从d维空间向c-1维空间投影。这就需要推广投影方程、类间散布矩阵SB和类内散布矩阵SW。从d维空间向c-1维空间的投影是通过c-1投影方程进行的：

这里的为第i类的样本集。设，c-1个方程可以更简练地表达：

这里的为第i类的样本的投影向量集。类间散布矩阵SB和类内散布矩阵SW可以由总体散布矩阵ST和总体均值向量m推导得到：

可以证明，当W的列向量wi是的广义特征向量时，可以使得J(w)最大。因为SB中c个秩为1或0的矩阵相加，而且其中只有c-1个矩阵是相互独立的。所以SB的秩最多为c-1。所以最多只有c-1个特征向量是非零的。

应用人脸识别在人脸识别中，每一个人脸图像具有大量的像素点。LDA主要用来将特征减少到一个可以处理的数目在进行分类。每一个新的维度都是原先像素值的线性组合，这就构成了一个模板。这样获得的线性组合被称为Fisher faces,而通过主成分分析获得的则称为特征脸。

本词条内容贡献者为:

曹慧慧 - 副教授 - 中国矿业大学