[科普中国]-判别分析

简介

判别分析，是一种统计判别和分组技术，就一定数量样本的一个分组变量和相应的其他多元变量的已知信息，确定分组与其他多元变量信息所属的样本进行判别分组。

解决问题：已知某种事物有几种类型，现在从各种类型中各取一个样本，由这些样本设计出一套标准，使得从这种事物中任取一个样本，可以按这套标准判别它的类型。

基本思想根据判别中的组数，可以分为两组判别分析和多组判别分析；

根据判别函数的形式，可以分为线性判别和非线性判别；

根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等；

根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。

判别函数判别分析通常都要设法建立一个判别函数，然后利用此函数来进行批判，判别函数主要有两种，即线性判别函数（Linear Discriminant Function）和典则判别函数（Canonical Discriminate Function）。

线性判别函数是指对于个总体，如果各组样品互相对立，且服从多元正态分布，就可建立线性判别函数，形式如下：

其中，是判别组数；是判别指标（又称判别分数或判别值），根据所用的方法不同，可能是概率，也可能是坐标值或分值；是自变量或预测变量，即反映研究对象特征的变量；是各变量系数，也称判别系数。建立函数必须使用一个训练样品。所谓训练样品就是已知实际分类且各指标的观察值也已测得的样品，它对判别函数的建立非常重要。

典则判别函数是原始自变量的线性组合，通过建立少量的典则变量可以比较方便地描述各类之间的关系，例如可以用画散点图和平面区域图直观地表示各类之间的相对关系等。

建立方法建立判别函数的方法一般由四种：全模型法、向前选择法、向后选择法和逐步选择法。

1）全模型法是指将用户指定的全部变量作为判别函数的自变量，而不管该变量是否对研究对象显著或对判别函数的贡献大小。此方法适用于对研究对象的各变量有全面认识的情况。如果未加选择的使用全变量进行分析，则可能产生较大的偏差。

2）向前选择法是从判别模型中没有变量开始，每一步把一个队判别模型的判断能力贡献最大的变量引入模型，直到没有被引入模型的变量都不符合进入模型的条件时，变量引入过程结束。当希望较多变量留在判别函数中时，使用向前选择法。

3）向后选择法与向前选择法完全相反。它是把用户所有指定的变量建立一个全模型。每一步把一个对模型的判断能力贡献最小的变量剔除模型，直到模型中的所用变量都不符合留在模型中的条件时，剔除工作结束。在希望较少的变量留在判别函数中时，使用向后选择法。

4）逐步选择法是一种选择最能反映类间差异的变量子集，建立判别函数的方法。它是从模型中没有任何变量开始，每一步都对模型进行检验，将模型外对模型的判别贡献最大的变量加入到模型中，同时也检查在模型中是否存在“由于新变量的引入而对判别贡献变得不太显著”的 变量，如果有，则将其从模型中出，以此类推，直到模型中的所有变量都符合引入模型的条件，而模型外所有变量都不符合引入模型的条件为之，则整个过程结束。

判别方法判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大似然法外，其余几种均适用于连续性资料。

1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中去的条件概率（似然值），概率最大的那一类就是最终评定的归类。

2）距离判别：其基本思想是由训练样品得出每个分类的重心坐标，然后对新样品求出它们离各个类别重心的距离远近，从而归入离得最近的类。也就是根据个案离母体远近进行判别。最常用的距离是马氏距离，偶尔也采用欧式距离。距离判别的特点是直观、简单，适合于对自变量均为连续变量的情况下进行分类，且它对变量的分布类型无严格要求，特别是并不严格要求总体协方差阵相等。

3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。另外，用该判别方法建立的判别方差可以直接用手工计算的方法进行新样品的判别，这在许多时候是非常方便的。

4）Bayes判别：许多时候用户对各类别的比例分布情况有一定的先验信息，也就是用样本所属分类的先验概率进行分析。比如客户对投递广告的反应绝大多数都是无回音，如果进行判别，自然也应当是无回音的居多。此时，Bayes判别恰好适用。Bayes判别就是根据总体的先验概率，使误判的平均损失达到最小而进行的判别。其最大优势是可以用于多组判别问题。但是适用此方法必须满足三个假设条件，即各种变量必须服从多元正态分布、各组协方差矩阵必须相等、各组变量均值均有显著性差异。

验证方法对于判别分析，用户往往很关心建立的判别函数用于判别分析时的准确度如何。通常的效果验证方法如自身验证、外部数据验证、样品二分法、交互验证、Bootstrap法。1

应用在气候分类、农业区划、土地类型划分中有着广泛的应用。

在市场调研中，一般根据事先确定的因变量（例如产品的主要用户、普通用户和非用户、自有房屋或租赁、电视观众和非电视观众）找出相应处理的区别特性。在判别分析中，因变量为类别数据，有多少类别就有多少类别处理组；自变量通常为可度量数据。通过判别分析，可以建立能够最大限度的区分因变量类别的函数，考查自变量的组间差异是否显著，判断那些自变量对组间差异贡献最大，评估分类的程度，根据自变量的值将样本归类。

应用范围

1）信息丢失

2）直接的信息得不到

3）预报

4）破坏性实验

假设条件

1）分组类型在两种以上，且组间样本在判别值上差别明显。

2）组内样本数不得少于两个，并且样本数量比变量起码多两个。

3）所确定的判别变量不能是其他判别变量的线性组合。

4）各组样本的协方差矩阵相等。

5）各判别变量之间具有多元正态分布。

6）样品量应在所使用的自变量个数的10~20倍以上时，建立的判别函数才比较稳定；而自变量个数在8~10之间时，函数的判别效果才能比较理想。当然，在实际工作中判别函数的自变量个数往往会超过10个，但应该注意的是，自变量的个数多并不代表效果好

spss操作：“分析”～“分类”～“判别”～进入判别分析主对话框。

这里有容易引起歧义的二个变量，最上面的为分组变量。对分组变量的了解需要联系判别分析的原理以及适用范围。因为判别分析是已知分类数目的情况下，进行分析，这个已知的分类数目就是这个分组变量。其实，一般分析步骤中，都是先进行聚类分析，聚类之后得到的分类结果就是这个分组变量，然后再选择这个分组变量，进行分析。也就是，聚类分析是母亲，母亲的孩子就是判别分析。得到的判别函数就是预测想要知道的个案究竟属于哪一类。另一个变量就是选择变量，它位于主对话框的最下面。这个选择变量在回归分析相应的对话框中也有，意思就是选择你需要的变量，这个变量可以为数据窗口的一个整个变量，也可以利用子设置“值”进行选择，所以，它的名字叫做选择变量。

“统计量”子对话框：“描述性”栏，包括“均值”“单变量ANOVA”“BoxsM”

需要特别说明，以后只要见到ANOVA这个单词，它的意思就是方差分析，也就是进一步输出方差分析表，其中最重要的就是P值也就是Sig值。

BoxsM复选框：指的是输出对组协方差矩阵的等同性检验的检验结果。也就是对各类协方差矩阵相等的假设进行检验。

“函数系数”栏：其实就是将判别函数系数进行设置。包括“费雪”和“未标准化”。费雪指的是对每一类给出一组系数，并且给出该组中判别分数最大的观测量。

“矩阵”栏：都是复选框，对应相应的矩阵也就是在结果表中的四种数阵。“组内相关”“组内协方差”“分组协方差”“总体协方差”这个都是计算机自动计算，人工计算是不可能完成的任务。

“分类”子对话框：本文也提到过先验概率，先验概率就是已知一部分信息，来了解未知信息也就是后验概率。

“所有组相等”也就是如果分为几类，这所有的类中的先验概率都相等。

“根据组大小计算”各类先验概率按照和各类样本量呈正比。

“使用协方差矩阵”栏：是二个单选框。“在组内”指使用合并组内协方差矩阵进行分析

“分组”指使用各组协方差矩阵进行分析。

“输出”栏～“个案结果”：对每一个观测量输出判别分数，也就是选定变量的个案的分进哪个组的资格得分。实际类，预测类，也就是根据判别得分计算的古今对比。实际类就是目前实际上分为几类，预测类就是过去对未来预测，它们一对比，就可以知道过去和现在差别在哪里。附属选项“将个案限制在”在后面的小矩形框中输入观测量数，含义为仅输出设置的观测量结果，当个案也就是观测量太多，可以用此法。

“摘要表”输出分类小结，给出正确和错分的观测量数，和错判率。

“不考虑该个案时的分类”这个根据字面就可以理解，不赘述。

“图”栏：“合并组”生成一张包括各类的散点图，该散点图根据前两个判别函数得到，如果只有一个判别函数，则生成直方图。

“分组”复选框：有几类就有几张散点图，和上面一样，如果只有一个判别函数，就生成直方图。

“区域图”复选框：将观测量分到各组中去的区域图。此图将一张图的平面划分出类数，相同的区域，每一类占据一个区，各类的均值在各区中用星号标出，如果仅有一个判别函数，即没有此图。

“保存”子对话框：这个设置是非常重要的，并且特别直观，只要选择，就可以在数据窗口生成相应的新变量。这个新变量分别是：“预测组成员”这个预测组成员是根据判别分数，以及后验概率最大的预测分类。也就是，每个个案的预测分类。

“判别得分”这个根据名字就可以理解。该分数=没有标准化的判别系数×自变量的值+一个常数。每次运行判别过程都给出一组表明判别分数的新变量。有几个判别函数就建立几个判别函数减1的新变量。新变量名称词头为dis-。

举例：1 医学实践中根据各种化验结果，疾病症状等判断病人患有什么疾病。

2 体育人才选拔根据运动员的体形，运动成绩，生理指标，心理素质指标判断是否继续培养。

3 动植物分类

判别分析最主要的分析目的：得到判别函数，对未知个案进行预测分类。

“组成员概率”表示观测量属于哪一类的概率，有几类，就给出几类概率值，新变量默认名为dis预测分类数-判别概率，例如有三类，二个判别函数，则新变量名称可以为dis1-1,dis2-1,dis3-1,dis3-2以此类推。

逐步判别分析：只要在主对话框中选择“使用步进式方法”，就可以筛选变量，同时，方法对话框将激活。

“方法”对话框中“标准”栏的设置和线性回归的一样，不赘述。

“方法”栏：原则就是，负面指标越小越好，正面指标越大越好。负面指标是wilks lambda和未解释方差，正面指标是马氏距离，最小F值，Raos V。马氏距离在回归中越大代表这个个案为影响点可能越大，也就是，只有这个个案为影响点，它越重要，越对判别函数影响越大，把它挑出来，也就是马氏距离最大。

结果：1 sig值小于0.05，说明可以继续分析，函数具有判别作用，也就是有统计学意义。

2 数据窗口对话框，将在“保存”子对话框设置的新变量和在主对话框的分组变量进行对比，每个个案被分到哪类，以及判别得分，都一目了然。

3 根据输出表中的系数，可以写出判别函数，进行以后的预测。