创造力测评中的评分者效应

创造力测评中的评分者效应(ratereffects)是指在创造性测评过程中,由于评分者参与而对测评结果造成的影响。评分者效应本质上源于评分者内在认知加工的不同,具体体现在其评分结果的差异。本文首先概述了评分者认知的相关研究,以及评分者、创作者、社会文化因素对测评的影响。其次在评分结果层面梳理了评分者一致性信度的指标及其局限,以及测验概化理论和多面Rasch模型在量化、控制该效应中的应用。最后基于当前研究仍存在的问题,指出了未来可能的研究方向,包括深化评分者认知研究、整合不同层面评分者效应的研究,以及拓展创造力测评方法和技术等。

无领导小组讨论的评分者效应分析

以大学生为研究对象,实施无领导小组讨论测评,探讨培训组与非培训组评分者的信效度差异。通过相关分析、验证性因素分析等方法检验评分者的内部一致性、评分者间信度、组间与组内差异、结构效度及效标关联效度。结果显示,培训效应对评分者影响显著,经培训与未经培训的评分者组间差异显著,培训组评分结果的效标关联效度优于非培训组。对评分者进行系统的培训能有效促进客观公正地实施测评,提高测评结果准确性。

PISA中国试测研究的评分者效应分析对高考网上阅卷的启示

针对PISA 2009中国试测研究主观题评分环节所采用的多重编码设计,分析在阅读、数学和科学领域的评分中是否存在评分者效应。根据多侧面Rasch模型方法,分别对这三个领域进行评分者主效应的分析。结果显示:阅读和科学领域中,评分者之间的严苛度/宽松度差异非常显著;而数学领域中,评分者之间的严苛度/宽松度差异较小。最后,探讨了这些结果的可能原因以及对高考网上阅卷评分借鉴的建议。

基于IRT的评分者效应模型及其应用展望

在教育测验理论与实践中，开放题或结构化题型越来越成为一种重要形式，当这种题型由多个评分者进行多重评定时．就必须考虑评分者偏差以及被试能力值估计的精确性．而基于IRT的评分者效应模型由于突破了CTT的局限而备受青睐。本文在介绍了三种比较有代表性的基于IRT的评分者效应模型基础上，对其在实践中的应用进行了展望。

中学理科实验操作考查的评分者效应和评分者信度——基于多面Rasch模型的分析

中学理科课程的实验操作考查是典型的表现性评价,主要评估学生完成理科常见实验的基本实验操作能力。为提高评分质量,优化实验操作考查的组织管理,以初三化学实验操作考查常见试题为例,应用多面Rasch模型探讨评分者效应和评分者信度。研究发现:(1)评分者不存在群体上的宽严效应、趋中效应、光环效应及区分性宽严效应,但表现出一定的随机效应,在同时考虑多侧面时有较弱的区分性宽严效应;(2)有可接受的评分者间信度和良好的评分者内信度;(3)与监考4位、6位考生相比,评分者监考2位考生时,较低评分者间信度出现的比例最大。建议在实施实验操作考查时,组织系统的考前评分实践培训,增加评分者对评分内容和过程,尤其是对不同类型评分者效应的一致性理解,提高个人准确评分的能力;可将多面Rasch模型作为评分质量控制的分析方法,用于评分结果的事后检查。

化学实验操作技能测试评分者效应研究

基于Rasch模型对化学实验操作技能测试的评分者效应开展研究。通过对Infit、Outfit、t、怀特图和宽严度波动图等的分析,研究测试中评委的宽严度、内部一致性、外部一致性以及评委与考生间的偏差规律。得到系列减弱化学实验操作技能测试中评分者效应的建议。

基于等级反应模型的多水平多侧面评分者模型

国内外考试改革和大型测评实践越来越强调主观题的作用,则评分者信度研究又重新成为一个备受关注的议题。研究在Wang和Liu(2007)的广义多水平侧面模型基础上,提出并探讨了等级反应多水平侧面模型。结果表明:在评分者固定效应和随机效应两种实验条件下,各偏差值的均值与标准差均较小,说明模型在当前实验条件下,各参数估计值的返真性和稳健性均较好,可以检测出评分者效应,由此,后续可进一步加入评分者效应的影响因素,使其发展为可同时检测评分者效应及其影响因素的完整模型。

等级反应多水平侧面模型及其在主观题评分中的应用

探讨了康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型(GR-MLFM)在包含被试及评分者层面预测变量(完整模型)下的返真性和适用性。结果表明:(1)GR-MLFM完整模型具有逻辑上和数理上的合理性,可用于主观题的评分情境,能较好地检测出评分者效应、影响因素及其影响程度;(2)在数学问题解决的评分实践中,评分员存在两种类型的评分倾向(宽松和严格效应),但绝大多数评分员的宽严度不明显;评分者的责任心可正向预测其严格程度,自信心可正向预测其宽松程度,而情绪稳定性和评分经验的预测作用不显著。

大规模教育考试作文评分中的严厉度漂移研究

严厉度漂移是指在主观题评分过程中,评分员的严厉度效应的跨时间、场合或任务的波动。本研究基于某高利害性大规模教育考试的作文评分现场收集的操作性数据,借助传统检测方法侦测严厉度漂移,并比较不同模型变式和效应指标的结果。研究结果表明,在当前评分任务上,评分员在整体上并未发生明显的严厉度漂移,但有相当比例的个体评分员显示出波动现象,并且分离模型的检出率要明显高于交互作用模型。静态和动态严厉度效应间并不存在简单的加合或对应关系。评分员是否发生严厉度漂移并不取决于其静态效应的强度。

主观题评分中的评分者漂移及其传统检测方法

评分者漂移是指评分员跨时间、场合或任务的行为改变,即评分者效应的波动。该构念的提出反映了研究者对评分者效应的兴趣由静态转为动态。在高利害教育考试的背景下,对评分者漂移进行检测是保障结果分数的信度、效度和考试公平性的必然要求。目前,对评分者漂移的检测主要采取基于多面Rasch模型和差异检验的传统方法。评分者漂移的模型拓展、认知与测量结合以及改进评分设计等方面值得做进一步的研究。

基于多面Rasch模型的幼儿师范生口语测试评分研究

目的:探究幼儿师范生口语表达能力水平与结构,分析幼儿师范生口语测试中的评分者效应,以提升幼儿师范生口语测试公平性,促进幼儿教师口语课程教学效果。方法:以某高校学前教育学院举行的幼儿师范生口语大赛为例,运用多面Rasch技术分析本次大赛所得到的测评数据。结果:幼儿师范生口语表达能力水平相差较大,六位评分者评分严格,且差异明显,评分者的前后一贯性差,评分等级设置过于分散,高等级与低等级未能发挥相应作用。结论:幼儿师范生口语表达能力是多成分心理特质,需要从多方面训练,测试评分偏差源于评分员对评分规则的熟知度差,口语测试应当合理分散进行,过于集中测试导致的评分疲劳等会影响评分公平性。

高考语文作文经典评分量表与分等分项评分量表(第Ⅱ版)的鉴别研究

运用实证方法,基于数据范式对高考语文作文经典评分量表与分等分项评分量表(第Ⅱ版)进行比较。以20位经验评分者的评分均值作为"准真分数"评价2个评分量表的评分误差,通过多侧面Rasch模型考察评分者效应与评分量表。结果显示:1)使用分等分项评分量表(第Ⅱ版)评分时,减轻了评分者的认知与心理负担,分数分布更合理,能够更好地区分不同写作能力水平的考生,评分者信度有较大提升,由于分数全距更宽阔,致使评分误差稍大于经典评分量表;2)使用经典评分量表与分等分项评分量表(第Ⅱ版)评分均不存在明显的评分者效应;3)分等分项评分量表(第Ⅱ版)在维度与评价指标的设置上较经典评分量表更为合理,计分量尺在估计考生能力时未出现倒挂现象,等级区分能力明显高于经典评分量表,对评分者进行有效的评分培训后更适用于常模参照测验。

大学生团队协作能力测评的多面Rasch分析

本文以一个大学社团的团体协作项目活动的参赛大学生为测评对象,运用多面Rasch模型从参赛选手、评分者和测评内容三个侧面考察团队协作能力测评的有效性。结果发现,参赛选手的团队协作能力大都处于中等水平且彼此间相差不大,4位评分者的评分宽严度较低且不一致,评分者在评分过程中产生了偏差。另外,文章还揭示了团队协作能力的结构,为培养大学生团队协作能力提供了参考依据。

基于多面Rasch模型的师范生学科教学能力测评研究

本文运用多面Rasch技术,探究并验证师范生教学能力基本结构,分析教学能力测评中的评分者效应,以保证教学能力测评的公平性,促进教学的有效性。研究显示,教育教学能力是一种多维度结构的潜在特质,师范生教学能力的不同维度水平差异明显,评价过程中的偏差控制有待提高。

英语口试质量评价研究

英语口试中,口试考官对评分标准的掌握程度、执行的严厉程度以及个人疲劳程度、与应试者的交流互动等都会影响口试成绩的信度和效度。文章以剑桥少儿英语口试为例,透过项目评价逻辑模型、参照评分标准测量模型和问卷调查分析,评价英语口试考官的素质以及评分的准确性。对改进英语口试考官质量保证体系和提高口试考官评分水平进行了有益的探索。

人工智能介入语文主观题评卷工作的思考

人工评卷是目前语文测评中主观题部分评卷的主要方式,但容易出现评分者效应。将人工智能运用于语文作文评卷,可发挥其精确高效的优势,减少人工评卷的不利因素,确保评卷工作的公平性,对促进教育公平必将利大于弊。因此,引入人工智能评阅语文主观题,宜有可为,且应有可为。