概念和原理
多特质-多方法矩阵(Multiple Trait Multiple Method,MTMM)是由坎贝尔与菲斯克创制的适合对聚合效度和区分效度进行检验的方法,该方法采用多种方法(指内容和形式不同的测验或其它测评手段)测量多种特质,并计算出不同测评结果之间的相关,生成相关关系数矩阵。
测量同一特质的不同方法之间的相关系数,被视为聚合效度的指标;测量不同特质的同一种方法间的相关系数,则被视为区分效度。一个构想效度较好的测量,应该同时具备较好的聚合效度和区分效度。1
多特质—多方法矩阵(multitrait-multimethod matrix),该方法的实质是相容效度和区分效度的综合运用,其原理是若干种极不相同的方法测量同一种特质相关很高(用极为相似的方法测量不同特质的相关很低),则说明测量的效度很高。2
坎贝尔(D. T. Campbell)等人提出的多特质—多方法矩阵适合于集中效度和区分效度的双重分析,这种方法必须使用两种或以上的方法来测量两种或以上的特质。3
多特质—多方法矩阵(multitrait-multimethod matrix)是指几个属性中的每一个都使用多元方法进行测量而获得的相关网络。
D. T. 坎贝尔和菲斯克(1959)概括出的这个方法通常被用于评估构念效度。他们指出,如果我们使用大量的方法测量一个以上的特质或构念,那么,这些测量之间的相关将出现多特质-多方法矩阵形式。
在设计一个多特质-多方法的研究中,研究者将通常选择一组构念,这些构念在理论上相关不是很强。因此,不同特质测量间的关系应该是小的——当然小于同一特质的不同测量间的相关。不同构念或特质测量间的关系共同表示区分效度。选择的构念很明显是不同的,这些构念的测量因此应该不是高度相关的。4
多特质—多方法法(multitrait-multimethod approacch,Campbell & Fiske,1959)指使用相同方法和不同方法测量同一构想得到的相关显著高于使用相同或不同方法测量不同构想之间的相关的确定心理测量工具的构想效度的方法。5
优点和缺陷优点一个多特质-多方法的研究提供了大量的数据,这些数据在评估构念效度时是有用的。因为每个构念是使用大量不同的方法进行测量的,所以可以判定不同测量方法是否产生出可比结果。
一个多特质-多方法的研究使得我们能够估计在模型中出现的方法偏差,也是研究构念效度诸问题中一个有效且富含信息的方法。这个方法表明,一个特定构念的优秀测验有三个特征:
1)测验分数与使用其它测验测量同一构念而获得的分数是一致的
2)测验产生的分数同理论上与要测量的构念不相关的测量是不相关的
3)测验使用的测量方法极少显示出偏差证据4
缺陷利用多特质-多方法法比较出来的结果总是不尽如人意。有时候,使用相同方法测量不同构想得到的相关要比使用不同方法测量同一构想得到的相关更高。这就意味着,在判断一个工具测量了什么,而不是是否测量了假定的构想或特质时,方法(纸笔量表、投射技术、等级评定以及访谈等)效应可能比构想或特质更重要。5
虽然多特质-多方法矩阵能对测验的构想效度作出有效的检验,但是由于测验次数多、时间长。费用高,实施起来比较困难,在实际当中使用并不多。1
Campbell和Fiske(1959)的方法对于我们理解效度检验的过程是非常有帮助的。但是,对于实际的研究者而言,要完整实施这样一个测量的过程是需要付出艰辛代价的。因此,测验的开发往往只是零零碎碎地去进行会聚效度和区分效度的检验工作,而不是去完成这么艰巨的一个多元特质—多重方法矩阵。6
一个多特质-多方法研究中的数据通常是很难进行解释的。4
实际应用Meier(1984)是为数不多的,在实际研究中采用了多元特质—多重方法矩阵的研究者,他使用这种方法检验了“职业倦怠”这个构念的效度。6
发展和完善大量的分析方法已经提出,以简化对多特质-多方法矩阵的解释,从方差分析(Kavanaugh,MacKinney & Wolins,1971;Stanley,1961)到验证性因素分析(Schmitt & Stults,1986)。
此外,为了回答在多特质-多方法设计中不明确的问题,例如对两个测验测量理论是否使用的是相同的构念,已经开发出了复杂的分析方法(Turban,Sanders,Francis & Osburn,1989)。4