计算机软考操作题自动阅卷技术实现路径的研究分析

针对上机操作题人工阅卷效率偏低,同时大量需要专业技术人员阅卷,致使无法大规模推广上机考试的问题,通过对目前具有代表性的机考操作题自动评分的方法的实例分析研究,评估在进一步在计算机软考中推广上机考试的可行性。

矩阵式过程评价量表设计初探——以英语学科为例

研发高质量过程评价量表是提升过程评价质量和效率的关键。依据《中国英语能力等级量表》(CSE)框架和新课程标准所界定的英语学科素养,设计了一种矩阵式英语学习过程评价量表。其中,量表的横向维度包括语法知识、篇章知识、功能知识和社会语言学知识,纵向维度包括英语能力、文化意识、思维品质和学习能力。这种设计旨在结合单元学习内容,精准分析学生在知识、能力和素养方面的长处和不足,为改进日常教学、提高英语学习效果提供有力支持。初步的应用结果表明,量表在诊断学情、改进教学方面具有良好作用,但要求一线教师将教学内容与学生能力发展和素养提升相结合尚有一定困难,相关信息管理系统缺乏也影响了矩阵式量表的功能发挥。

基于自然语言处理的民航飞行人员英语能力测试与CSE的对接研究

通过与考试对接等手段,《中国英语能力等级量表》(CSE)可以有效指导并规范各种英语语言能力测试项目。传统对接方法以设定临界分为关键环节,其步骤比较复杂,需要调动的人力物力较多,限制了CSE在专门用途英语考试中的应用。通过中国民航飞行人员英语语言能力测试(PEPEC)与CSE的对接研究,探讨基于自然语言处理的对接原理和方法,其主要步骤包括:1)运用德尔菲法界定对接文本;2)运用自然语言处理的文本相似度算法确立PEPEC与CSE之间的对接关系;3)收集内外部效度证据以检验对接效度。结果表明,基于自然语言处理的方法在保障对接精度的同时,大大提升了对接工作效率,为进一步探索对接的方法和路径提供了重要参考。

ChatGPT作答批判性思维测试:表现与启示

ChatGPT的升级换代引起了全社会的广泛关注,但大众对其功能的认识比较混乱。为考察ChatGPT对考试的影响,以《傲慢与偏见》英文原著为素材编制了一套批判性思维测验,并让ChatGPT作答这套试卷,结果发现它在客观题上的得分率仅为43.75%,特别是在观点诠释和论证评价这两种批判性思维技能上的得分率仅为25%;同时发现,ChatGPT在作答问题单一的主观题方面表现较好,而在完成名著仿写等需要整合信息和创新观点等任务方面表现不佳。这说明大众不必过于焦虑ChatGPT会给学生带来不可控的负面影响,同时也意味着教育工作者暂时还无法利用它解决高利害考试中的命题、试测以及等值等方面的专业难题。

ChatGPT命题潜力的实证研究

ChatGPT是一种功能十分强大的自然语言处理工具,若能利用它协助命题,则对考试工作和作业设计有重大意义。根据现代教育测量理论的命题要求,探讨了ChatGPT的命题潜力,发现在命题素材完备、任务指令明确且具体等条件下,用户通过连续追问等方式,可以诱导ChatGPT撰写出质量不错的试题,或提供一些富有创意的命题情境。不过,ChatGPT撰写的客观题存在着没有答案或多个答案并存等风险,其撰写的主观题难度往往难以控制。因此,ChatGPT撰写的题目必须通过高水平专家团队的系统审查,最好能对ChatGPT撰写的试题做先导测试,以确保题目的质量和难度要求。这些发现对作业设计和低利害考试的命题工作具有较大价值。

考试质量评价:标准构建与考察维度

考试质量事关考试的公平公正,对学业诊断和人才选拔工作至关重要。我国考试质量的评价工作尚未形成完善的体系,一些不必要的差错或技术上的失误可能会造成较大的负面影响。在设置考试质量标准时,应适当吸取我国科举制度的经验教训,参考国际考试行业协会标准,满足现代心理与教育测量理论的要求,并及时总结当今考试实践中的经验教训。在实施考试质量评价时,可从如下几个方面考察:考试蓝图是否符合考试目的且科学合理;考试题目是否科学、公平、恰当;试卷是否完整且符合考试蓝图的要求;测评指标是否达到现代测量理论和技术的要求;主要考生群体的作答表现是否异常;考试管理和质量检测流程是否系统规范。