综合培训法在迷你临床演练评估同质化评分培训中的应用

目的:运用综合培训法对护理教学督导进行迷你临床演练评估的同质化评分培训,提高评分的准确性与一致性。方法:采用整群抽样法对医院77名教学督导进行误差培训法、绩效维度培训法、参照系培训法3种方法的综合培训,并在培训前后对评分的准确性和一致性进行测评。运用χ~2检验、肯德尔和谐系数对培训前后的评分准确率和评分一致性程度进行检验。结果:培训后研究对象各维度评分准确率均有所提高,标准差减小,评分曲线与标准分更加一致,肯德尔和谐系数由0.298提高到0.427。结论:对护理教学督导开展迷你临床演练评估法的评分同质化培训,提高评分准确性和一致性,是保证该教学方法科学开展的必要前提。误差培训法、绩效维度培训法、参照系培训法3种方法的综合培训可以提高教学督导迷你临床演练评分的准确性与一致性。

写作能力行为测试评分员培训研究述评

在大规模语言考试实践中,评分员培训通常被认为是作文人工评分的必经环节,其目的在于提高评分一致性,保证考试公平性。然而,语言测试界对于评分员培训目的以及自身价值的争论颇多,本文将对这些观点进行梳理。同时,还将对评分员培训步骤、评分员培训效果与持续时间、培训中评分员认知发展过程等相关研究进行探讨。

多面Rasch模型在主观题评分培训中的应用

主观题的评分受到很多因素的影响，如评分者的知识水平、综合能力和个人偏好等。这些评分者偏差不仅会导致不同评分者之M存在主观差异，也会到导致同一评分者在不同的时间也具有主观不稳定性。最终导致主观题评分信度的降低。本研究将多面Rasch模型运用到某国家级考试论述题的评分培训中。通过分析6名有经验评分者对58份试卷的试评数据，鉴别出四种评分者偏差，然后据此对每个评分者进行个别反馈,从而提高评分的客观性和精确性。

评分人培训的研究现状及展望

评分人培训是保证做事测试分数信、效度的重要方法,一直是国际语言测试界关注的重点。本文首先从理论框架、培训方法和培训效果等方面对评分人培训研究的现状进行了回顾,然后指出了当前研究中的两个问题:培训过程及内容不清楚,培训产生作用的机制不明确。最后,文章就下一步的研究进行了展望,希望能引起我国语言测试工作者对评分人培训的重视。

DIHK职业培训实操考试评分标准的分析及借鉴

DIHK职业培训及资格证书取证实操考试评分标准与我国职业教学课程(或项目、任务)实操考试评分标准对照及分析,DIHK的还是比较科学;建议我国广大职业教育工作者认真分析、借鉴和运用DIHK职业培训和取证实操考试评分标准进行教学项目(任务)的开发、教学过程设计、教学和考核。

汉语水平考试(HSK)评分员培训的实证研究

有效的评分员培训是评分可靠性和考试效度的重要保障。以汉语水平考试(HSK)评分员培训为例,对培训过程和效果进行分析。通过“讲评考”培训模式,136名受训教师中有128人通过了HSK评分员资格评定,受训教师对培训高度认可;培训后效的调查显示,培训拓宽了教师有关测试的知识,提升了教学针对性,对教师专业发展产生了一定的积极影响。综合以上2个方面,HSK的“讲评考”评分员培训模式成效显著,但该模式在系统性、知识共享、评分标准量化等方面尚有不足,可以从增强培训的系统性、加强教师知识管理、深化理论研究、建立HSK学习者样本库4个方面进行优化。

住院医师规范化培训考核在线评分系统设计与应用

住院医师规范化培训临床实践技能考核是住院医师规范化培训结业考核的重要组成部分,目的在于检验培训对象是否具有规范的临床操作技能和独立处理本专业常见多发疾病的能力;通常采用由培训对象进行模拟操作或临床操作,考官对其操作表现进行打分的考核形式。随着培训规模逐年扩大,使用传统方式进行评分的局限性也愈发明显。本文分析了引入住院医师规范化培训考核在线评分系统的需求,提出了系统的功能设计与技术方案,并通过实际应用案例总结了系统的优势与不足。

评价中心评分者培训与评分效果

评价中心中的评分是一个非常复杂的过程,它是由多个评分者,按照预先设计好的维度,从被评价者所表现出的诸多行为中辨别、筛选、记录其典型行为,评分者们通过集中讨论使评分结果达成一致,或者用统计的方法对评分结果进行整合,最终得到被评价者行为表现的综合评价,观察和评价的过程需要在很短的时间内完成,这些对评分者的要求是非常高的.因此,如何使评分者的评分更加准确,一直是研究者们关心的问题.Bitner,(1948年)就认识到对评分者进行培训能提高评分有效性的这种潜在的价值.

评分员培训对作文评分员差异的影响研究述评

从评分员培训对评分员差异的影响进行文献梳理,可以发现研究者对评分员培训效果尚未达成共识,多数研究仅关注评分结果而忽略评分过程,未揭示培训后评分过程与评分信效度的关系等。未来评分员培训研究应更多地关注培训过程,通过对比培训前后评分员的决策过程探究培训效果。

口译资格考试的评分员培训机制研究——CATTI考试二十年回顾

该研究通过回顾分析CATTI口译考试二十年的评分员培训实践,借鉴语言测试学的相关研究成果,为大规模、高风险的口译资格考试提出了一个贯穿评分全过程的评分员培训机制。首先,评前培训应坚持标准化流程,确保评分员对评分标准和评分量表理解准确,并就评分细则和参考译文达成共识。其次,评中培训应采取具体化措施,通过实时监督和再培训及时纠正评分误差,提高评分员评分的信度。此外,文章建议开展常态化的评后培训,及时巩固评分员的评分能力,保证评分信度的可持续性和评分质量的延续性。该研究旨在提升CATTI口译考试的评分信度和评分质量,为科学、公正的翻译人才评价提供有力支持。

评价中心的评分维度和评分效果

对近年来国内外关于评价中心的研究进行了比较系统的介绍。首先,文章讨论了评分维度的数目对于评分结果的影响,以及评价中心中的4个元维度;其次,介绍了评价中心中衡量评分效果的指标,并讨论了评分者培训的分类及其对评分效果的影响;第三,虽然评价中心具有良好的效标关联效度,但对于其结构效度的研究至今尚无统一结论。最后,文章对评价中心未来的研究趋势进行了探讨。

关于提高作文评分信度的几点启示

本研究针对如何控制作文评分误差这一问题,采用文献综述的方法,回顾了国内外目前在评分方法、评分量表、评分员培训和自动评分等研究领域所取得的成果以及面临的问题,并进一步围绕如何提高作文评分质量这一焦点,探讨了目前已取得的成果对提高作文评分信度的几点启示。研究指出,提高作文评分信度是一个综合的系统工程,需多管齐下。建议如下:制定一个科学合理、易于掌握、便于操作的评分标准;加强评分员培训管理工作,建立一支稳定,经验丰富、专业能力强的评分员队伍;开发适合中国英语学习者的自动评分系统。

采用多面Rasch模型提高英语运用测试的评分质量

目前电大系统英语考试的口试和作文部分多采用语言运用测试的方式。语言运用测试由于引入评分者而使评分的主观性变大。如何控制评分者差异对考生分数的影响成为保证语言运用测试评分质量的重要环节。本文在比较了行为测试中评分质量控制方面常用的三种理论的基础上,着重介绍了多面Rasch模型在提高评分质量方面的贡献,并探讨了在电大系统如何采用该模型对英语运用测试中的评分者进行培训,以控制评分质量和提高考试信度。

探索网阅环境下的英语写作评分员培训

写作评分员差异构成了对写作评估信度和效度的直接威胁。提高评分信度的策略之一便是对评分员的培训。网上阅卷更是给评分员培训提供了详尽和及时的数据信息。对英语专业四级作文写作评分员网上培训的实证研究发现，培训在一定程度上有助于减少评分员严厉度的总体差异，有利于增强部分评分员的自身一致性，以及能够缩小评分员在总体上对评分项目的偏颇。为使培训更有效，培训应将先期培训和持续培训并重。

汉语口语成绩测试评分员培训体系建构及实证研究

本文着眼于构建和应用对外汉语教学口试评分员培训体系,让受训评分员对329名考生的口语进行评分。评分结果显示,受训评分员跟常规组之间存在显著性差异,评出的口试分数分布比常规组更为合理,对考生的区分性更高。受训评分员评定的口试分数与考生综合、听力课成绩的相关性明显高于常规组。因此,本研究认为受训评分员的评分质量优于未受训的评分员,培训体系具有良好效能。

参照系培训法在评价中心评分者培训中的应用

本文分析了FOR培训的四个步骤,以及FOR培训法有效的原因,指出了应用FOR培训法需注意的问题。

口试评分规范化与信度研究

口语考试的效度较高,信度却比较低。但没有信度,效度也不可能真正得到保证。因此,如何提高口试的信度,是很多测试研究者普遍关注的问题。本文通过描述清华大学英语水平考试中口试部分的评分规范化与评分员培训,对如何规范评分以提高口试信度这一问题进行讨论。