评分人个性化反馈信息有效性实证研究

评分人反馈信息是保证评分质量的一种重要手段,然而以往的研究对该方法的有效性尚无定论。本研究邀请三位评分人对30篇CET4模拟作文评分,同时提供按重要性排列的三条评分理由。评分结束一周后,评分人收到个性化反馈信息报告,内容包括多层面Rasch模型(MFRM)的分析结果(严厉度、内部一致性和偏差)以及评分理由的编码分析结果。阅读完反馈信息后,评分人对另外30篇CET4模拟作文评分并提供评分理由。研究发现,反馈信息能加深评分人对评分标准的理解,提高评分人的内部一致性,减少评分理由中的构念不相关差异。

CET-4作文评分人评分标准使用情况的研究

本研究采用混合研究法对CET-4作文评分人如何使用评分标准进行分析。26位CET-4作文评分人对30篇CET-4模拟作文评分,并提供3条按重要性排序的评分理由。研究结果显示:(1)虽然存在严厉度的差异,但是26位评分人之间的一致性比较好,且大部分评分人的自身一致性也较好。(2)部分评分人的评分理由呈现了单一化趋势。(3)评分人所给评分理由的71.91%体现了CET-4作文评分标准所规定的5个文本特征,说明大部分评分人对标准的理解和把握还是比较准确的。