第6章 效 度
1解释效度的定义。
答:(1)效度指的是测量的正确性,即一个测验或量具能够测量出其所要测量的东西的程度。效度回答的基本问题是一个测验测量的特性对它对所要测量的特性测得有多准。
(2)在测量理论中,效度被定义为:在一组测量中,与测量目的有关的真实变异数(由所要测量的变因引起的有效变异)与总变异数(实得变异数)的比率。公式为:
RXY2=SV2/SX2
RXY2代表测量的效度系数,SV2代表有效变异数,SX2代表总变异数。
效度说明了在一组测验分数中,有多大比例的变异数是由测验所要测量的变因引起的。
2简述效度与信度的关系。
答:效度与信度既有差别又有联系。
(1)信度和效度的差别
信度和效度的差别在于所涉及的误差不同。信度考虑的是随机误差的影响,效度的误差不仅考虑随机误差还需要考虑系统误差。
(2)信度和效度的联系
①信度高不一定效度高。测量误差是随机的,会同时影响信度和效度,但是在总变差中,还存在着与所测量的特性无关的因素造成的系统误差,它不影响测验的一致性即信度,只影响测验的有效性即效度。因此信度高时,只能说明随机误差小,还不能确定系统误差的大小,因而不能确定效度的大小。简单的说就是测验对某一个测量目的具有一定的信度,但并不一定是有效的。
②当测验的效度高时,测验的信度必然高。效度高说明与测量特性有关的共同因子造成的变差大,随机误差相对减小,所以信度就高。简单的说就是测量工具如果对某一个测量目的是有效的,那么它一定是可信的。
3效度有哪些种类?分别如何测量?
答:(1)效度的种类
①内容效度:测验题目对相关的内容或行为范围取样的适当性,它反映测验题目在多大程度上与欲测量或预测的内容相一致。要获得较高的内容效度,欲测的内容范围必须定义清楚,测验项目应是所界定的内容范围的一个有代表性的样本。
②构想效度:测验对某一理论概念或特质测量的程度。构想效度要回答三个问题:一是测验测量什么心理构想,二是对这一构想测得有多好,三是测验分数中有多少比例的变异数是来自测验所要测的构想。
③实证效度:一个测验对处于特定情景中的个体的行为进行预测时的有效性,也就是对于研究者所感兴趣的行为能够预测得怎么样。被预测的行为是检验测验效度的标准,简称效标。由于这种效度是看测验对效标预测得如何,所以又叫效标效度。
(2)效度的测量方法
①内容效度的测量方法
a.专家判断:请有关专家对测验题目与原定内容范围的符合性做出判断。
b.统计分析:内容效度可由一组被试在独立取自同样内容范围的两个测验复本上得分之相关来作数量的估计。若相关低,说明二者至少有一个缺乏内容效度;若相关高,一般可推论测验有内容效度。
c.经验法:检查不同年级的学生在测验上的得分和在每个题目上的反应情况。一般说来,测验总分和题目通过率随年级而提高,便是测验具有内容效度的证据。
②构想效度的测量方法
a.测验内方法:通过研究测验内部构造来界定所测量的构想的范围。
确定测验的内容效度:测验的内容效度有时可以作为测验的结构效度的证据。对测验所取样的内容或行为范围确定后,就可利用这些资料来定义测验所要测的构想的性质。
分析被试对题目作反应的过程:通过观察受测者的操作,询问他如何处理题目,以及必要的统计分析,可发现究竟哪些变量影响了反应,因而可确定测验是否测量了所要测的特质。
考察测验的同质性:通过计算被试在每个题目上的反应与测验总分的相关,或分测验分数与总测验分数的相关,以及α系数等内部一致性指标,可以推估测验是测单一特质还是测多种特质,从而确定测验构想效度的高低。
b.测验间方法:通过研究几个测验间的相互关系,找出它们的共同特点,进而推断出所测的共同特质是什么,确定这些测验是否有构想效度。
相容效度:确定构想效度的最简单方法,是计算受测者在新测验上的分数与另一个效度已知的同类测验上的分数之间的相关。假如相关高,说明这两个测验测的是相同特质。
区分效度:一个有效的测验不仅应与其他测量同一构想的测验有相关,而且还必须与测量不同构想的测验无相关。换言之,测验要有效必须测量与其他变量无关的独立的构想。
因素效度:建立构想效度的常用的方法是因素分析。通过对一组测验进行因素分析,可以找到影响测验分数的共同因素。每个测验在共同因素上的负荷量,也就是测验与各因素的相关,称作测验的因素效度。而在测验分数的总变异数中来自有关因素的比例,可作为构想效度的指标。
c.研究测验的实证效度:如果一个测验有实证效度,那么该测验所预测的效标的性质与种类就可作为测验所测量的构想的指标,研究这些资料就能提供与构想效度有关的信息。
d.考察实验变量对测验分数的影响:通过实验操作控制某些条件,观察其对测验分数的影响以及测验分数与某些效标间的关系,获得构想效度的信息。
e.搜集某些变异上的证据:假如一个特质的定义表明这特质能抗拒环境影响而长期保持稳定,则测量该特质的测验的稳定性系数应较高;假如一个特质被定义为随学习或成熟而改变,则测量该特质的测验分数应该随着年龄增长而递增。由此,根据分数的变异性便可推知一个测验是否具有构想效度。
③实证效度的测量方法
a.相关法:最常用来建立实证效度的方法是求测验分数与效标测量间的相关,所得到的数量指标称作效度系数。在测验手册中,一般用它来报告测验对每种效标的效度。计算效度系数最常用的是积差相关法。
b.区分法:第二个决定效度的方法是看预测源的分数是否可区分由效标测量所定义的团体。
c.命中率:当测验用来作取舍的根据时,其有效性的指标就是正确决定的比例。
d.功利率:为了确定测验的功效,人们还常常对使用测验所花掉的费用与得到的利益进行比较,看是否利大于弊。这种效度指标,叫功利率。
4简述效度的误差来源。
答:凡是能产生随机误差和系统误差的因素都会降低测验的效度。一个效度低的测验,其得分在很大程度上受到与测验目的无关的因素影响,而效度高的测验则受无关因素影响很小。
效度的误差来源,可归纳为以下三个方面:
(1)测验组成方面
试题是构成测验的要素,测验的效度取决于试题性能。凡测验的取材,测验长度、试题的区分度。难度及其编排方式等皆与效度有关。要想提高测验的效度,须谨慎选择测验材料,适当安排测验的长度,使试题具有相当的鉴别力而且难易程度适中。
(2)测验实施方面
测验的实施程序是影响效度的重要因素。若主试能适当控制测验情景,遵照测验手册的各项规定而实施,就能避免外在因素对测验结果的影响。在测验实施的过程中,如果场地的布置、材料的准备、作答方式的说明、时间的限制等任何一方面不遵照标准化的程序进行,都会使效度降低,失去测验的意义。
(3)被试反应方面
被试的兴趣、动机、情绪、态度和身心健康状况等,都能影响他在测验情景中的行为反应。被试是否充分合作,也会影响测验结果的可靠性与正确性。