基于多面Rasch模型对两类结构化面试性能的对比

在多面Rasch模型框架下比较了两类结构化面试。结果发现行为性面试中被试能力估计值分布范围略广,且更为均匀,支持了情景性面试中更容易出现社会期望性反应的结论。从评分者偏差上看,行为性面试中发生偏差的次数更多一些,说明行为性问题可能更不易评定,导致评分者间分歧较大。但几处较大的偏差却出现在情景性问题的评分中。除此之外两类面试的评分者一致性都很好,评分者宽严度和评分偏差等方面的差异都不是太大,说明两类面试的总体心理测量学性能都很好,都可以在人事测评中应用。总体上看行为性面试较好。

中外大学英语教师写作评分行为的对比分析

通过运用多层面Rasch模型,本研究对中外大学英语教师的写作评分行为进行微观分析,探讨这两组不同语言背景的大学英语教师对同样的写作样本的评分是否有差异。研究结果表明中外教师的写作评分结果并无显著差异,他们的整体性评分都普遍比分析性评分更宽松,但中国教师的评分较外籍教师的评分略为宽松。微观的评分行为分析揭示出中外教师对组织、语法和写作规范这三个评分项目上产生了偏差。外籍教师在各评分项目上的评分产生的偏差总数比中国教师多;他们对组织和写作规范的评分偏宽松,而对语法的评分则有偏严厉的趋势。对于不同水平的考生,无论是中国教师还是外籍教师偏宽松的偏差较多;对于水平最高的考生的评分,中国老师偏宽松,而外籍教师则偏严厉。

大规模计算机口试分析评分效果研究

基于计算机的外语考试和评分越来越多,以往研究大都涉及基于纸笔评分效果,对基于计算机的主观题评分效果研究不多。本文从评分一致性和分数维度差异两方面研究了大规模计算机口试分析评分的效果。通过对比整体评分法发现,分析评分法的评卷员行为一致性较好。评卷员使用整体评分法时未能较好地根据表达内容的完整性打分,而且容易出现集中趋势。进行分析评分时,评卷员在内容和语言分项上一致性较差。在准确度方面,评卷员给低水平考生评分要比给高水平考生评分好。

高风险英语考试作文评分员影响因素研究（英文）

该研究包括两个阶段的问卷,旨在调查高风险英语考试作文评分员影响因素,所有调查者均为大学英语专业老师。第一阶段有73名受试,第二阶段有75名受试,两个阶段相隔一年,采用同样的调查问卷。数据分析将探索性因素分析和验证性因素分析相结合。结果显示有6个主要因素影响到评分过程:评分量表,评分员培训,评分监督,评分员特征,易识别文本特征,评分环境。这些因素之间的相互影响反映了来自考试机构的约束和评分员自身对作文评分的知识和理解之间的冲突。该研究将为考试机构采取措施提高作文评分质量提供参考。