基于概化理论和多层面Rasch模型的计算机化英语听说考试评分研究

广东省高考计算机辅助英语听说考试评分工作采用评分人对考生录音评分。由于人工评分主观性强,会存在各种评分误差,因此有必要对如何客观、公正地评分进行深入研究。本研究采用概化理论和多层面Rasch模型,对某次模拟考试的评分数据进行深入分析。评分数据包括三位大学教师和两位中学教师对广州市某中学117位考生录音所评的分数。概化理论研究结果表明:任务难度是测试总变异的主要来源(46.8%);在当前高考评分工作采用评分人侧面既嵌套于任务侧面又嵌套于考生的R:(p×T)设计的双评条件下,概化系数为0.647。多层面Rasch模型分析结果表明:尽管评分人严厉度差异显著,但内在一致性很强;在偏差模式上,大学教师对任务一偏严、对任务三偏松,而中学教师则相反。上述结果既为完善考试评分设计提供了重要的实证依据,也充分表明概化理论和多层面Rasch模型在研究视角上的互补性。