大规模教育考试作文评分的趋中漂移和不准确性漂移研究

在主观题评分过程中,评分者效应随时间、场合或任务产生波动,即发生评分者漂移。本研究基于一个高利害性大规模教育考试的作文评分现场收集的操作性数据,借助传统检测方法侦测可能存在的趋中漂移和不准确性漂移,比较不同效应指标的结果。结果表明:在所检测的写作任务上,评分员在整体上并未发生明显的评分者漂移,但有相当比例的个体显示出波动;对于趋中漂移,残期相关和残模相关的效果高度一致;对于不准确性漂移,相关系数类指标对准确性提升的指示并不灵敏;动态效应并非是静态效应的简单加合,评分员是否发生评分者漂移并不取决于其静态效应,准确性较高的评分员发生改变的倾向相对较低。