基于GCN和微调BERT的作文自动评分方法

作文自动评分是智慧教育领域的重要研究方向之一。它具有提高评分效率、降低人工成本以及确保评分客观性和一致性的优势,因此在教育领域有着广泛的应用前景。尽管句法特征在作文自动评分中扮演着重要角色,但目前仍缺乏关于如何更好地利用这些特征进行作文自动评分的研究。本文提出一种基于GCN和微调BERT的作文自动评分方法GFTB。该模型采用图卷积网络提取作文的句法特征,采用BERT和Adapter的训练方式提取作文的深层语义特征,同时采用门控机制进一步捕捉二者融合后的语义特征。实验结果表明,本文提出的GFTB模型在公共数据集ASAP的8个子集上取得了较好的平均性能,相比于通义千问等基线模型,能够有效提升作文自动评分的性能。

面向方面级情感分析的BERT性能改进

近年来,随着计算能力的不断提高和网站上大量数据的免费获取,深度学习(deep learning,DL)技术得到广泛应用,对自然语言处理领域产生了巨大的影响,其中BERT(bidirectional encoder representations from transformers,BERT)已在许多自然语言处理(natural language process,NLP)任务以及其他领域中得到广泛使用。如果将BERT用于基于方面级情感分析(aspect-based sentiment analysis,ABSA)任务,通过检查用户在产品评论中表达的情感类型和情感目标来研究消费者对市场产品的看法,将大大提高产品在未来市场的地位。针对这个问题,提出了并行聚合和分层聚合2个模块,应用于ABSA的2个主要任务:方面级提取(aspect extraction,AE)和方面级情感分类(aspect sentiment classification,ASC)。这些模块利用BERT语言模型的隐藏层来产生输入序列的更深层语义表示,通过并行方式进行聚合并且进行了分类,对选定的每个隐藏层进行预测并计算损失,然后将这些损失求和以产生模型的最终损失。此外,通过使用条件随机字段(conditional random fields,CRF)解决方面级提取问题。经过研究表明,在BERT微调中应用提出的模型,可以提高BERT模型的性能。