[科普中国]-线性判别函数

统计模式识别中用以对模式进行分类的一种最简单的判别函数称为线性判别函数。线性判别函数在特征空间中，通过学习，不同的类别可以得到不同的判别函数，比较不同类别的判别函数值大小，就可以进行分类。

定义统计模式识别中用以对模式进行分类的一种最简单的判别函数称为线性判别函数。在特征空间中，通过学习，不同的类别可以得到不同的判别函数，比较不同类别的判别函数值大小，就可以进行分类。统计模式识别方法把特征空间划分为决策区对模式进行分类。一个模式类同一个或几个决策区相对应。每个决策区对应一个判别函数。对于特征空间中的每个特征向量 x ，可以计算相应于各个决策区的判别函数gi(x)，i=1,2,…,c。

应用人们已研究出多种求取决策边界的算法。线性判别函数的决策边界是一个超平面方程式，其中的系数可以从已知类别的学习样本集求得。F.罗森布拉特的错误修正训练程序是求取两类线性可分分类器决策边界的早期方法之一。在用线性判别函数不可能对所有学习样本正确分类的情况下，可以规定一个准则函数（例如对学习样本的错分数最少）并用使准则函数达到最优的算法求取决策边界。用线性判别函数的模式分类器也称为线性分类器或线性机。这种分类器计算简单，不要求估计特征向量的类条件概率密度，是一种非参数分类方法。

当用贝叶斯决策理论进行分类器设计时，在一定的假设下也可以得到线性判别函数，这无论对于线性可分或线性不可分的情况都是适用的。在问题比较复杂的情况下可以用多段线性判别函数（见近邻法分类、最小距离分类）或多项式判别函数对模式进行分类。一个二阶的多项式判别函数可以表示为与它相应的决策边界是一个超二次曲面。1

距离判别[discriminant by distance]

所谓距离判别就是计算欲判类属的样本 x 到两个总体和 的距离 和，按照如下准则来判别样本的归属；

其中距离 为马哈拉诺比斯距离其定义为

为总体的均值向量， 是总体和的协方差距阵。容易算得

令则判别准则可重新写为

当，，已知时，令，则有

称其为线性判别函数， 称为判别系数 (discriminant coefficient)。

这样，利用线性判别函数 可以把空间划分成两部分：和。当样本 x 落入 时，推断；当样本 x 落入时，推断。当 m 个总体 时，其中各总体的均值分别为，，各总体的协方差距阵满足，这时线性判别函数为

其判别准则为：当 x 落入 内时，，判，其中

。

当 m 个总体的协方差矩阵 不同时，令

则相应的判别准则为：当 x 落入内时， , 判断。2

本词条内容贡献者为:

尚华娟 - 副教授 - 上海财经大学