学术文本词汇功能识别——基于BERT向量化表示的关键词自动分类研究

关键词作为学术文本中映射全文主题内容的词汇或术语,能够为知识精准检索和文本大规模计算提供重要的底层语义标签。当前学术文本中的关键词存在使用意图不明、语义功能模糊及上下文信息缺失等问题。为此,本文提出了一种基于有监督学习的神经网络方法,对关键词所承载的语义功能进行分类,实现对学术文本中研究问题和研究方法的识别。本文以计算机等领域为期10年的学术期刊论文为训练语料,利用BERT及LSTM方法构建分类模型,实验结果显示,本文所提出的方法较传统更优,其整体准确率、召回率和F1值分别达到0.83、0.87和0.85。