大规模教育考试作文评分的趋中漂移和不准确性漂移研究

在主观题评分过程中,评分者效应随时间、场合或任务产生波动,即发生评分者漂移。本研究基于一个高利害性大规模教育考试的作文评分现场收集的操作性数据,借助传统检测方法侦测可能存在的趋中漂移和不准确性漂移,比较不同效应指标的结果。结果表明:在所检测的写作任务上,评分员在整体上并未发生明显的评分者漂移,但有相当比例的个体显示出波动;对于趋中漂移,残期相关和残模相关的效果高度一致;对于不准确性漂移,相关系数类指标对准确性提升的指示并不灵敏;动态效应并非是静态效应的简单加合,评分员是否发生评分者漂移并不取决于其静态效应,准确性较高的评分员发生改变的倾向相对较低。

大规模教育考试作文评分中的严厉度漂移研究

严厉度漂移是指在主观题评分过程中,评分员的严厉度效应的跨时间、场合或任务的波动。本研究基于某高利害性大规模教育考试的作文评分现场收集的操作性数据,借助传统检测方法侦测严厉度漂移,并比较不同模型变式和效应指标的结果。研究结果表明,在当前评分任务上,评分员在整体上并未发生明显的严厉度漂移,但有相当比例的个体评分员显示出波动现象,并且分离模型的检出率要明显高于交互作用模型。静态和动态严厉度效应间并不存在简单的加合或对应关系。评分员是否发生严厉度漂移并不取决于其静态效应的强度。

主观题评分中的评分者漂移及其传统检测方法

评分者漂移是指评分员跨时间、场合或任务的行为改变,即评分者效应的波动。该构念的提出反映了研究者对评分者效应的兴趣由静态转为动态。在高利害教育考试的背景下,对评分者漂移进行检测是保障结果分数的信度、效度和考试公平性的必然要求。目前,对评分者漂移的检测主要采取基于多面Rasch模型和差异检验的传统方法。评分者漂移的模型拓展、认知与测量结合以及改进评分设计等方面值得做进一步的研究。

等级反应多水平评分者漂移模型的构建

对于评定耗时较长的测验来说,时间因素对评分精确性的影响不容忽视。研究提出了可用于检测评分者漂移效应的等级反应多水平评分者漂移模型,并通过模拟研究对模型性能进行验证。结果表明:模型能够准确估计项目和能力参数;随机效应模型较固定效应模型更能有效地检测出评分者漂移效应,其有效性和稳定性更佳,可进一步验证其在实际情境中的适用性,并进一步发展成含预测变量的全模型。