信度的概念
如观测量都有误差,观察分数都会对真分数作出某种偏离,都包含误差分数。果测量过程中对误差控制得好,对影响测量准确性的干扰因素的对抗能力强,察分数所传达的有关真分数的信息就会准确而丰富。这样,测验的技术质量就会很高,测量工作就符合理想规范的要求,所得测量值(测验分数),使用起来就可靠。
对测验控制误差、抗干扰量就是测验信度。力的度量,或者说是对测验结果一致性程度的度能。1
信度分析信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种:重测信度法、复本信度法、折半信度法、α信度系数法。
信度系数定义用同一被试样本所得的两组资料的相关系数作为测量一致性的指标,称为信度系数。
估计方法常见的有以下几种:
①再测法。用同一组被试对同一种测验前后两次施测的测验得分的相关系数表示信度。它反映测验分数的稳定程度,其相关系数又称稳定性系数。
②复本法。用同一组被试对两个等值(复本)测验得分的相关系数表示信度。反映两个复本测验的等值程度,其相关系数又叫等值性系数。
③分半法。用同一组被试对同一测验对等的两半的测验得分的相关系数表示信度。它是复本法的特例,还可用来估计测验内部的一致性。这种相关系数及叫内部一致性系数。
④同质法。用测验内部(测量同一特质或属性)不同分测验(异质而有关联的测验题目)之间的相关系数表示信度,估计的是测验题目的同质性或普遍性,其相关系数也叫普遍性系数。2
应用为解决传统层次分析法在权重分配过程中主观性过强的缺陷,夏春艳3等改进层次分析法,提出基于信度系数的人机界面评价指标权重分配方法根据人类思维具有模糊性和灰色性的特点,将灰色关联分析引入到层次分析法中,从整体相似性的角度构造专家判断的信度系数,解决了多专家评判信息的集结以及不确定信息的处理,实现了认知特性的定量描述;将其与指标权重合成,获得了符合认知特性且更加科学可靠的综合权重分配通过算例分析验证了该方法的可行性。
层次分析法是由T. L. Saaty 首次提出,该方法是一种将定量和定性分析相结合的方法,能够有效分析目标准则体系层次间的非序列关系,有效地综合决策者的判断和比较。而灰色系统理论是从信息的非完备性出发,研究和处理复杂系统的理论,能有效地处理带有灰色信息的问题。灰色理论中的灰色关联分析法能通过对各比较数列集构成的曲线族与参考数列曲线间的几何形状相似程度寻求各比较序列之间的关联程度。基于这一思想,可利用灰色关联分析处理评判信息,充分利用评判信息反映评判专家的整体认知程度,从而构造评判专家所给信息的信度评判矩阵,计算各专家的信度系数,并将其融合到层次分析法之中,从而修正利用层次分析法所获得的指标权重。基于信度系数的人机界面评价指标权重分配方法的实现过程如图所示。3