评分经验对CET-4作文评分人差异的影响研究

本研究采用混合研究法分析了评分经验对评分人差异的影响。27位CET–4作文评分人按照评分经验平均分为老手、中手和新手三组。通过严格培训后,他们对30篇CET–4模拟作文评分,并按重要性依次排列提供三条评分理由。分数的多层面Rasch模型(MFRM)结果表明:1)三组在严厉度上不存在显著差异;2)老手评分内在一致性最好,新手次之,中手最差;3)除一位新手外,三组都没有出现明显的随机效应。评分标准相关理由编码百分比的混合多元方差分析(MANOVA)结果表明:评分经验的主效应、评分经验和评分理由重要性的交互效应都不显著,但是评分理由重要性的主效应显著。这一结果说明经过培训后,评分经验产生的评分差异可以得到有效控制。