摘要
本研究采用混合研究法分析了评分经验对评分人差异的影响。27位CET–4作文评分人按照评分经验平均分为老手、中手和新手三组。通过严格培训后,他们对30篇CET–4模拟作文评分,并按重要性依次排列提供三条评分理由。分数的多层面Rasch模型(MFRM)结果表明:1)三组在严厉度上不存在显著差异;2)老手评分内在一致性最好,新手次之,中手最差;3)除一位新手外,三组都没有出现明显的随机效应。评分标准相关理由编码百分比的混合多元方差分析(MANOVA)结果表明:评分经验的主效应、评分经验和评分理由重要性的交互效应都不显著,但是评分理由重要性的主效应显著。这一结果说明经过培训后,评分经验产生的评分差异可以得到有效控制。
出处
《中国外语教育》
CSSCI
2015年第3期74-84 109,109,共12页
Foreign Language Education in China(Quarterly)
基金
广东省教育科学“十二五”规划项目“大规模考试中评分人决策风格的诊断研究”(2013JK013)
广州市社科规划青年项目“大规模语言测试评分人反馈信息有效性的实证研究——以CET–4为例”(14Q11)
广东省高等学校教学质量与教学改革工程项目“大学英语课程多元评估体系建设与实践”(X2WY/N913078a)
广东教育教学成果奖(高等教育)培育项目“以评促学——大学英语国家精品课程写作自我评估系统的支架作用研究与实践”的阶段性研究成果
