高考语文阅读主观题评分方法对考试质量的影响

本研究选取1019份高考语文阅读真实答卷,探讨基于经验的传统"采点"评分、基于理论的SOLO评分和CIM评分3种方法对考试质量的影响。结果表明:采用SOLO评分法和CIM评分法,题目区分度更高,评分信度提升,试卷内部结构拟合更佳;SOLO评分法和CIM评分法优于"采点"评分法,CIM评分法优于SOLO评分法。高考语文阅读主观题评分可尝试CIM评分法。

“人—机对抗”视域下主观题评分误差控制策略探究

网上阅卷没有根本改变传统人工阅卷的本质,但阅卷人员过分追求评分一致性而产生的"人—机对抗"现象,使主观题评分误差及其控制产生了新变化。从"人—机对抗"的视角看,在造成网上阅卷主观题评分误差的诸多因素中,试题命制、参考答案与评分标准设置的科学性程度是根本性因素,对阅卷员的管理与阅卷过程目标的追求是外在性因素,阅卷员自身的能力素质状况是关键性因素。因此,网上阅卷主观题评分误差的控制,应在传统纸质阅卷的基础上,其重点应关注阅卷员对评分标准掌握情况、控制"宽宽严严"、计算离散程度和提高评分的有效度等。

主观题评分中的评分者漂移及其传统检测方法

评分者漂移是指评分员跨时间、场合或任务的行为改变,即评分者效应的波动。该构念的提出反映了研究者对评分者效应的兴趣由静态转为动态。在高利害教育考试的背景下,对评分者漂移进行检测是保障结果分数的信度、效度和考试公平性的必然要求。目前,对评分者漂移的检测主要采取基于多面Rasch模型和差异检验的传统方法。评分者漂移的模型拓展、认知与测量结合以及改进评分设计等方面值得做进一步的研究。

MultiHead-SelfAttentionBiLSTM网络应用于主观题评分的研究

为了降低主观题评分对人工阅卷的依赖,提升主观题自动阅卷的效率和准确性,使评分结果更客观,设计了MultiHead-SelfAttention BiLSTM Automatic Grading模型。该模型是将深度学习与多头自注意力机制结合,采用BiLSTM模型对进行过人工判分的主观题进行文本语义特征学习;利用多头机制模拟多人主观判分从多个角度进行关系抽取,降低阅卷偏差;关系抽取利用自注意力机制提取出符合得分要求的关键特征组合。实验结果表明,MultiHead-SelfAttention BiLSTM Automatic Grading模型与常规方法比较,对主观题自动评分的准确率均有不同程度的提高,精确率、召回率、F1值均达到了较好的效果。对减少人工阅卷成本、推进中文自动化评判的进一步发展起到了积极作用。

主观题评分系统的设计与实现

科学技术的迅猛发展使计算机的使用范围更加广泛,而教育系统也越来越多的使用计算机加快现代化的步伐。主观题评分系统是基于Excel中的VBA宏开发的一种应用软件,Excel工作区由七部分组成:主页、设置页、课题页、学生页、评分页、成绩页和报表页。尽管各页使用不同,但相互之间都有一定的联系。它的主要功能是基本信息的录入和以邮件形式发送成绩单及进行打印和保存,是帮助教师对学生上交的主观题进行主观评测。本系统的开发可以最大限度的减轻教师评判主观题的工作量,实现阅卷的机器化和更完善的远程教育。

主观题评分质量的估计方法评述

在心理测量理论中，主观题的评分质量是一个值得研究的课题。本文分别介绍了三大测量理论（经典测量理论、概化理论、项目反应理论）对于主观题评分质量的估计方法，并对其优劣进行了比较。概化理论和项目反应理论在评价主观题评分质量上具有较明显的优势，如何结合使用三大理论，为主观题评分质量获取更多有价值的信息是值得深入探讨的问题。

基于领域本体和依存句法分析的主观题自动评分方法

现有主观题自动评分方法大多无法识别电力系统领域的专业术语,且在评分过程中易遗漏文本间的语义关系,进而导致其评分结果与人工评分结果偏差较大,无法满足实际考试的要求。针对这些问题,本文提出一种基于领域本体和依存句法分析的主观题自动评分方法。该方法综合了节点距离相似度、节点信息相似度、通用词语相似度和依存句法搭配词对相似度等因素,并将电力系统领域本体引入到评分过程中,进而提高评分结果的有效性。实验结果表明:与现有方法相比,本文评分方法在主观题自动评分中更贴近人工评分结果,在MAE、RMSE和SMAPE指标上优于其他方法。

基于改进的LDA模型的中文主观题自动评分研究

主观题自动评分(Automated Scoring Subjective Responses,ASSR)在语言学习与语言测试领域的诊断信息及信度方面具有重要的应用前景。将主题模型中的隐含狄利克雷分配(Latent Dirichlet Allocation,LDA)引入到中文主观题自动评分中,提出了一种结合专家知识的改进的LDA模型,并采用了一种综合文档-隐含主题概率向量及隐含主题-核心词项概率向量的文本特征表示方式。实验对比了改进的LDA与潜在语义分析(Latent Semantic Analysis,LSA)的自动评分效果,结果表明改进的LDA模型在中文主观题自动评分中切实有效。

基于小数据集抽取算法SDRA的主观题自动评分研究

主观题自动评分(Automated Essay Scoring,AES)是语言测试领域的难点,自动评分的第一步往往要用大量已经人工评分的数据集生成评分模型,但是研究者常常困顿于数据集的不足。从数学的角度来看,其实只需要小数据集就可以构建出媲美大数据集所生成的评分模型,从而有效提高科研工作者的效率和数据利用率。本文提出一种小数据集抽取算法(Small Dataset Retrieval Algorithm,SDRA),在基于潜伏语义分析方法(LSA)的自动评分软件平台上,分别实施SDRA和传统的大数据集的评分模型方法,实验结果表明,SDRA仅用了25%的数据量,即可达到接近于传统大数据集的评分效果,从而验证了SDRA是行之有效的。

主观题自动评分算法模型研究

本文提出了基于文本分类的主观题自动评分模型。模型采用文本词性相似度和文本浅层相似度作为分类器的条件属性,在一定程度上提高了文本的语义理解。通过对已有文本的学习,使用考生分数作为分类类别构建决策树分类器。将待测文本输入决策树分类器从而实现答案的分类,即完成自动评分。通过与人工阅卷过程对比,验证了系统是有效可行的,符合人工阅卷的过程。

多特征融合的电气领域主观题自动评分方法

智慧教育运用人工智能等技术来实现教育的智能化,将智慧教育应用到电气类高校教学、注册电气工程师考试和电网员工入职培训等领域,有助于学生和工作人员快速掌握电气专业知识。基于电气领域本体和自然语言处理技术,探索了电气领域主观题自动评分方法。针对通用词语相似度计算存在的不足,设计了一种融合《同义词词林》和《知网》的词语相似度方法,并结合文本的表层结构信息以及语义信息,提出了一种结合句子的词序、词形和搭配词对三种特征的电气领域主观题自动评分方法。试验表明,该方法能够有效解决传统评分算法对专业术语的识别不全面和未考虑文本中句子的语义关系等问题,有效地提升了评分结果的准确度。

基于语句相似度的主观题自动评分系统

计算机考试系统中，单项选择题和多项选择题等客观题的自动批改技术已经很成熟。但是，针对简答题等主观题的自动批改技术，由于受到自然语言理解等限制，至今没有实用的系统。本文采用语句相似度的计算对主观题进行自动批改。通过对语句相似度的定义，计算模型的建立，同时借鉴机器翻译、自动文摘、信息检索等对语句相似度的研究，提出了基于多层次融合的语句相似度计算模型。通过对句子词形、词态、词义三个层次计算相似度，从而使句子的相似度计算更加准确。实验测试表明，本文的主观试题自动评分方法基本可以满足系统设计的需求，是有效可行的方法。

基于孪生网络和BERT模型的主观题自动评分系统

由于现在缺乏多语言教学中的主观题自动评分,针对这一问题提出了一种基于孪生网络和BERT模型的主观题自动评分系统.主观题的问题文本和答案文本通过自然语言预处理BERT模型得到文本的句向量,BERT模型已经在大规模多种语言的语料上经过训练,得到的文本向量包含了丰富的上下文语义信息,并且能处理多种语言信息.然后把问题文本和答案文本的句向量再通过深度网络的孪生网络进行语义相似度的计算,最后连接逻辑回归分类器,完成主观题的自动评分.实验所使用数据集由Hewlett基金提供的英文数据集以及翻译后的中文数据集,并以二次加权Kappa系数作为模型的评估指标.实验结果表明,对比其他基准模型,基于孪生网络和BERT模型的自动评分系统在各个数据子集得到的结果最好.

基于领域预训练的孪生网络智能评分方法

随着信息技术的发展,主观题智能评分成为考试与测评领域的研究热点。基于深度学习的主观题智能评分方法目前尚存在一定局限性:一是基于深度学习的方法通常需要充足的训练样本才能达到比较好的效果,而一些真实阅卷场景却无法提供充足的标定样本;二是评分模型仅预测总分值,缺少评分细节,无法为后续的结果评价提供依据。针对以上问题,提出基于领域预训练的孪生网络智能评分方法,探索利用考生作答文本提高评卷精度的方法,探索得分点模型的可行性与实现方法。实验证明,孪生网络智能评分方法能够有效提高小样本情况下的主观题智能评分精度。

基于词网的主观题自动评阅算法的研究

通过构建有限领域概念网模型,形成一种新颖的自然语言文本处理方法。该方法首先构建领域概念网,再对目标文本进行常规处理后提取其语句框架,最后计算文本相似度。据此开发的试卷主观题评测系统表明,与目前方法相比,该系统以语义为核心,使得命题所指的概念网与考生答案的语义之间有联系,从而提高评分准确率。

智能评分技术应用效果的评价研究

智能评分技术在教育考试实践中应用越来越广泛,但社会对于其准确性和安全性问题还存有疑虑,其中一个重要原因是当前尚缺少智能评分应用效果的评价方法。针对于此,提出智能评分的研究和应用框架,在文献分析和实践经验基础上提出面向机器学习专家和面向领域评分专家的评价指标,形成一套智能评分应用效果综合评价方案。以军队文职人员招录考试智能评分数据为案例,利用综合评价方案中的统计指标对其评分效果进行了验证。研究结果显示,机器评分的一致性和稳定性均高于人工评分,能够起到良好的辅助质检作用。

大规模教育考试作文评分中的严厉度漂移研究

严厉度漂移是指在主观题评分过程中,评分员的严厉度效应的跨时间、场合或任务的波动。本研究基于某高利害性大规模教育考试的作文评分现场收集的操作性数据,借助传统检测方法侦测严厉度漂移,并比较不同模型变式和效应指标的结果。研究结果表明,在当前评分任务上,评分员在整体上并未发生明显的严厉度漂移,但有相当比例的个体评分员显示出波动现象,并且分离模型的检出率要明显高于交互作用模型。静态和动态严厉度效应间并不存在简单的加合或对应关系。评分员是否发生严厉度漂移并不取决于其静态效应的强度。

网络双评过程中作文评分误差以及评分者效应的分析——以大规模英语考试作文评分为例

目前大规模考试作文评分大都采用双评评分模式,本研究采用多侧面Rasch模型(MFRM)分析双评模式下大型英语作文评分中的评分者误差来源及主要影响因素。对57名评分者所评价的2 427篇作文分析发现:1评分者的宽严度存在显著的差异;2在作文评分中,约有22.8%的评分者之间的一致性较差,也存在约3.5%的评分者之间一致性过高;3约90%的评分者自身的一致性都较高,但仍有8.8%的评分者自身一致性很差,约2%的评分者出现评分自身一致性过高的情况;4从整体上讲,评分者在不同的评分标准(或维度)上、不同评分等级宽严程度的把握存在差异;评分者和被试,以及评分者、被试和评分标准三者的交互作用不显著;5评分者对男生和女生具有相同的宽严度。

翻译测试的评分策略研究——基于CET-4翻译任务

采用混合研究法探究CET-4翻译评分员使用的评分策略:首先,邀请13位评分员对5篇CET-4翻译作答进行有声思维评分,据此生成翻译评分策略问卷初稿;然后,在对问卷初稿进行试测后对255位评分员施测;最后,对问卷的信度、效度进行检验并删减题项,得到问卷终稿。结果表明,最终问卷包括19个题项,整体信度为0.886,翻译评分策略结构包括"修改""诊断""自我评估""推测"和"比较"5个因子,可解释总方差的58.249%。本研究可为大规模语言测试翻译题的设计和评分提供参考。

高等汉语水平考试作文评分的调整——评分员残项调整模型的应用

主观题评分差异太大时需要组织评分员进行重评,费时费力,而且仍有可能达不到期望的效果。本研究用残项调整模型(UAdj scheme)对评分员给出的差异较大的分数进行了客观、数学上的调整,调整后的分数差异缩小,分数更接近被试真实水平的期望值。用这种方法代替传统的人工复评可以提高主观题评分的效率和考试的信度。