基于多面Rasch模型对两类结构化面试性能的对比

在多面Rasch模型框架下比较了两类结构化面试。结果发现行为性面试中被试能力估计值分布范围略广,且更为均匀,支持了情景性面试中更容易出现社会期望性反应的结论。从评分者偏差上看,行为性面试中发生偏差的次数更多一些,说明行为性问题可能更不易评定,导致评分者间分歧较大。但几处较大的偏差却出现在情景性问题的评分中。除此之外两类面试的评分者一致性都很好,评分者宽严度和评分偏差等方面的差异都不是太大,说明两类面试的总体心理测量学性能都很好,都可以在人事测评中应用。总体上看行为性面试较好。

中外大学英语教师写作评分行为的对比分析

通过运用多层面Rasch模型,本研究对中外大学英语教师的写作评分行为进行微观分析,探讨这两组不同语言背景的大学英语教师对同样的写作样本的评分是否有差异。研究结果表明中外教师的写作评分结果并无显著差异,他们的整体性评分都普遍比分析性评分更宽松,但中国教师的评分较外籍教师的评分略为宽松。微观的评分行为分析揭示出中外教师对组织、语法和写作规范这三个评分项目上产生了偏差。外籍教师在各评分项目上的评分产生的偏差总数比中国教师多;他们对组织和写作规范的评分偏宽松,而对语法的评分则有偏严厉的趋势。对于不同水平的考生,无论是中国教师还是外籍教师偏宽松的偏差较多;对于水平最高的考生的评分,中国老师偏宽松,而外籍教师则偏严厉。

Factors Affecting Chinese Raters' Rating of High-Stakes English Exam Essays

This study consists of two questionnaire surveys conducted in two stages to investigate factors that high-stakes exam essay raters believe to affect their rating behavior. Raters were all university Chinese teachers of English majors. Seventy-three participants in stage one and 75 in stage two responded to the same questionnaire. Both exploratory factor analysis and confirmatory factor analysis were used in data analysis. Results showed that there were generally six broad factors interfering with the rating process： rating scale, rater training, rating supervision, rater characteristics, eye-catching text features and rating condition. The interaction of those factors reflected the tension between the constraints executed by the test institution and raters＇ own knowledge and understanding of essay rating. This study may shed light on measures taken to improve essay rating quality.

大规模计算机口试分析评分效果研究

基于计算机的外语考试和评分越来越多,以往研究大都涉及基于纸笔评分效果,对基于计算机的主观题评分效果研究不多。本文从评分一致性和分数维度差异两方面研究了大规模计算机口试分析评分的效果。通过对比整体评分法发现,分析评分法的评卷员行为一致性较好。评卷员使用整体评分法时未能较好地根据表达内容的完整性打分,而且容易出现集中趋势。进行分析评分时,评卷员在内容和语言分项上一致性较差。在准确度方面,评卷员给低水平考生评分要比给高水平考生评分好。