基于标签语义信息感知的少样本命名实体识别方法

在少样本命名实体识别方法中,目前广泛应用的方法是基于原型网络的两阶段模型。但是,该方法未充分利用实体标签中的语义信息,且在距离计算中过度依赖实体类型原型向量,导致模型泛化能力差。针对这些问题,提出一种基于标签语义信息感知的少样本命名实体识别方法。该方法是一种先进行实体跨度检测,再判断实体类型的两阶段方法。在构建实体类型原型向量时,将对应实体类型包含的语义信息考虑在内,通过维度转换层将其与原型向量相融合。在对新样本进行实体识别时,将实体类型的正负样本与实体类型原型向量组成实体类型三元组,依据样本到三元组的距离对其进行分类。在多个数据集上的实验结果证明,该模型的性能比以往的模型有较大的提升。

融合BERT与标签语义注意力的文本多标签分类方法

多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一。针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT。首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量表示;然后,使用长短期记忆(LSTM)神经网络将标签进行单独编码;最后,利用注意力机制显性突出文本对每个标签的贡献,以预测多标签序列。实验结果表明,与基于序列生成模型(SGM)算法相比,所提出的方法在AAPD与RCV1-v2公开数据集上,F1值分别提高了2.8个百分点与1.5个百分点。

基于多级语义信息融合编码的序列标注方法

序列标注是自然语言处理领域的基本任务。目前大多数序列标注方法采用循环神经网络及其变体直接提取序列中的上下文语义信息,尽管有效地捕捉到了词之间的连续依赖关系并取得了不错的性能,但捕获序列中离散依赖关系的能力不足,同时也忽略了词与标签之间的联系。因此,提出了一种多级语义信息融合编码方式,首先,通过双向长短期记忆网络提取序列上下文语义信息;然后,利用注意力机制将标签语义信息添加到上下文语义信息中,得到融合标签语义信息的上下文语义信息;接着,引入自注意力机制捕捉序列中的离散依赖关系,得到含有离散依赖关系的上下文语义信息;最后,使用融合机制将3种语义信息融合,得到一种全新的语义信息。实验结果表明,相比于采用循环神经网络或其变体对序列直接编码的方式,多级语义信息融合编码方式能明显提升模型性能。

融合标签语义特征的BERT微调问句分类方法

问句分类(Question Classification,QC)对提高问答系统的质量和性能有着重要的作用。目前,现有的问句分类方法面临着数据稀疏的问题。双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)微调可以实现跨领域问句分类,是一种很好的解决新领域带标签问句稀疏的措施。然而,这种方法往往忽略了自然语言类标签提供的显式语义信息。如果要扩展问句分类器以预测新类,且只有少数训练示例,则可以利用该类标签提供的语义信息,预测问句与标签之间的关联。本文将类别标签的特征引入BERT微调模型,简称为L-BERT-FiT。实验结果表明,相较于BERT微调,改进后模型的平均分类精度提升了约2.86%。