表现性评价中评分者信度估计方法的比较研究——从相关法、百分比法到概化理论

随着素质教育的推进,表现性评价受到越来越多的重视。影响表现性评价结果信度的一个重要因素是评分者之间的不一致。文章使用模拟数据,在对比评分者一致性的相关法、一致性百分比法和概化系数等各种估计方法的基础上,提出概化理论在表现性评价中评分者信度问题上的应用是理论和实践发展的有益方向。

GT在全国海船船员动力装置操作评估中的应用研究

运用概化理论(GT),采用5个单侧面交叉设计(OnefacetCrossedDesign),即:p×r,对全国海船船员动力装置操作评估5个评分要素测评精度进行了探讨。结果表明:该评估现行方案,即:固定5个评分要素,随机选用2名评分员,不能保障较好的评估精度(Φ=0.58)。建议将原评估方案中的评分员水平数增加至3名。进一步细化评分规范、加强对评分员的培训是控制评分误差的关键。

概化理论在绩效评估中的应用

概化理论借助其理论上的优势在很大程度上克服了基于经典测量理论绩效评估存在的缺陷。它可以对绩效评估中的信度进行更全面的估计,更好地预测和控制误差,并且概化理论的独特视角和方法还为360度绩效评估的效度求取提供了理论支持。

运动成绩观测中广义信度的理论与方法

介绍了体育测量中的一种新的广义信度理论以及它在实践中的应用,并对古典测量理论与广义信度理论作了比较,重点研究了一组受试者在操作一系列测试中被一组观测者评价所得资料,并对算出的各种广义信度系数进行检验。文中使用的实例是由3名教师对10名学生在4次测试中的运动成绩作出评分。我们讨论了上述三种因子进行充分交叉的观测设计中能应用的各种广义信度系数的公式。最后还简要地讨论了把测试嵌套入受试者之内两种观测设计特例。

中国大学生英语写作测试中母语与非母语评分员行为的对比分析

为探究汉语母语与英语母语评分员在写作评分信度和评分行为上的差异,本文分别运用概化理论和多面Rasch模型,分析了他们对448篇英语作文样本的整体法评分结果。结果表明:(1)评分员的母语背景显著影响他们对学生作文的评分;汉语评分员为2人即可保证两个评分信度系数都达到0.9或以上,而英语评分员需3人才能保证两者都达到0.7以上。(2)评分员的内部一致性较好,但评分员之间的严厉度存在显著差异;英语母语评分员对各水平段的考生作文评分偏严,对最高水平考生评分偏宽;汉语母语评分员对高水平段的考生评分倾向偏宽,对最低水平考生评分偏严。概化理论和多面Rasch模型分别从宏观和微观层面证明了,在趋中度方面,汉语母语与英语母语评分员的评分质量无差别,而在信度系数、评分员一致性、对评分量表的把握、与考生交互方面,汉语母语评分员的评分质量则更高一些。

采用概化理论改善临床技能测试设计的研究

目的采用概化理论探讨如何降低临床技能测试设计的误差及提高信度。方法选择2018年广州医科大学附属第六医院住院医师规范化培训第二年的40名住院医师,通过腹腔穿刺、气管插管、心脏体格检查、清创缝合术与胸腔穿刺术5个考站来测试其相关的临床技能,每站2位评分者,通过概化研究计算临床测试成绩各个向面的变异数及其向面解释百分率,进一步通过决策研究计算代表临床技能测试设计信度的指标--概化系数和独立指标值。概化系数和独立指标值越高,临床技能测试设计的信度越高。结果采用概化理论计算后得出总变异数为268.016,向面解释百分率分别为研究对象39.9%(106.936/268.016),考站6.8%(18.190/268.016),评分者0.0%(0.000/268.016),研究对象和考站41.9%(112.395/268.016),研究对象和评分者0.0%(0.000/268.016),考站和评分者1.8%(4.838/268.016)和无法解释因素9.6%(25.747/268.016)。当增加测试考站或评分者时,其概化系数和独立指标值会随着增加;直到达到某一个点时,再增加考站或评分者,概化系数和独立指标值增加的速度会降低。结论欲获得信度最高的形成性评价应设计8个考站,每个考站1位评分者;欲获得信度最高的终结性评价应设计12个考站,每个考站2位评分者。