基于注意力机制和提示学习联合训练的上下位关系识别研究

专利术语间的上下位关系是一种重要的语义关系,专利文本中术语间的上下位关系识别在专利检索、查询扩展、知识图谱构建等多个领域发挥着重要作用。然而,专利文本领域的多样性、语言表述的复杂性使得术语间的上下位关系识别仍然面临许多挑战。文中提出一种融合提示学习和注意力机制的术语上下位关系识别方法,该方法基于远程监督框架,将术语之间的最短依存路径作为辅助特征融入提示模板,使用图神经网络将术语间的共现信息融入提示学习和注意力机制联合训练过程。在专利文本测试数据集上的实验结果表明,所提方法的AUC值、F1值达到94.94%和89.33%,相较于PARE模型分别提升了3.82%和3.17%。该方法有效地去除了使用远程监督方法标注的数据集的噪声,避免了掩码语言模型的训练目标和下游任务的不匹配问题,充分利用了预训练语言模型中存在的语言知识信息。