人机对话二语口试模式中汉英母语考官评分的实证对比研究

实验分析了人机对话二语口试中汉英母语两组考官评分可靠性及其组间评分尺度和标准的异同。结果显示1)两组考官评分组内高度一致,组间没有显著差异。2)两组考官自述评分依据表明口语流利度比语音重要。3)汉语母语考官更倾向于从二语知识的掌握上考察考生的二语能力,英语母语考官则偏向于从实际应用的角度来衡量。4)在不提供评分细则的设定下,两组考官个案评分存在明显差异,考生得分依据不一致。5)汉语母语考官比英语母语考官更能容忍考生在语音上的缺陷。

对公务员面试考官评分的思考

公务员面试是公务员招考中十分重要的一环,如果说笔试是对公务员考生综合知识和学习能力的测试,那么面试则是对公务员考生工作能力的重要评价,从某种意义上来说,在公务员招考设定门槛的条件下,对公务员考生工作能力的评价就显得十分重要,一方面是公务员行政综合能力的现实需要,另一方面也是公务员考生能否录取的关键。笔者作为公务员面试考官,从事面试工作多年,对面试考官在评分中存在的一些问题,感触颇多,今斗胆提出来与同行商榷共勉。

杭州公务员结构化面试考官评分探究

杭州市公务员录用考试招考热度一直居高不下。近年来平均招考比稳步上升,至2019年首次突破1:80大关(见表1)。杭州市公务员招考,面试环节采用的是结构化面试。结构化面试考官在评分过程中存在的问题在一定程度上影响了结构化面试的公平性和科学性。本人将当前杭州公务员结构化面试考官评分异常情况,归纳总结为简单打分、非理性考官和爱好偏差三种。

住院医师规范化培训结业临床实践能力考核考官评分同质性的研究

目的研究住院医师规范化培训(简称住培)结业临床实践能力考核中考官评分的同质性,探索提高考官评分同质化的方法。方法2021年7月,使用一致性相关系数(concordance correlation coefficient,CCC)对中山大学105名住培医师客观结构化临床考试中的病史采集和体格检查、临床思维、技能操作的考官评分进行一致性分析。选取44名考官进行详细解读评分细则与评分要点等相关培训,并评估培训前后考官评分的一致性情况。结果在63个考核项目中,3个(4.8%)考核项目的CCC>0.7,31个(49.2%)考核项目的CCC为0.3~0.7,29个(46.0%)考核项目的CCC<0.3。临床思维的17个考核项目中,有14个考核项目的CCC≥0.3。对同一名考生病史采集的25个考核项目,考官评分一致性≥80.0%(35/44)的项目从培训前的8项(32.0%)增加到培训后的19项(76.0%)。结论住培结业临床实践能力考核中考官评分的同质性有待提高,通过详细解读评分细则与评分要点等相关培训可以在一定程度上提高考官评分的同质性。

刻板印象对考官评分偏差的影响:考官决策方式的调节作用

面试中,基于过去的有限经验产生的对特定群体的刻板印象会有意识或无意识地影响考官的判断决策,为了维持刻板的一致性,人们会故意忽视与刻板印象不一致的信息,这在很大程度上损害了面试的有效性和公平性。为了探究减弱面试刻板印象影响的方法,本文通过2(刻板刺激:有/无)×2(考官决策方式:直觉性决策/分析性决策)组间因子设计,利用眼动技术模拟教师行为事件面试,探讨了面试中刻板印象影响考官评分偏差的作用机制,以及考官决策方式与刻板印象对考官评分偏差的交互作用。结果表明:(1)存在刻板印象实验标的刺激时,考官对刺激的视觉注意更多,考官评分偏差更大,即刻板印象通过视觉注意的中介作用影响考官评分偏差;(2)刻板印象和考官决策方式存在显著的交互作用。实验结论对如何有效削弱刻板印象对面试决策的影响,提高面试有效性具有一定的启示意义。

领导干部竞争性选拔中考官评分者信度研究

本文对2010-2011年北京市副局级领导干部竞争性选拔测试中半结构化面试和无领导小组讨论考官的评分的状况进行了研究,对研究结果进行了分析论证,并提出了有针对性的改进意见与措施。