基于Mogrifier LSTM的序列标注关系抽取方法

对文本中的上下文信息进行充分利用能够提高关系抽取性能,但当前多数基于深度学习的关系抽取方法仅捕获文本序列中的浅层特征信息,在长序列文本中易丢失上下文信息。针对传统LSTM中输入和隐藏状态之间相互独立且缺少信息交互的问题,建立一种基于Mogrifier LSTM的序列标注关系抽取模型。将由词嵌入、字符嵌入和位置嵌入构成的嵌入层结果输入Mogrifier LSTM层,该层通过在传统LSTM计算之前交替地让当前输入与之前隐藏状态进行多轮运算,以增强上下文交互能力。使用自注意力机制提高模型对重要特征的关注度,同时采用基于关系的注意力机制获取特定关系下的句子表示,从而解决实体关系重叠问题。在关系分类模块,利用Bi-LSTM进行序列标注,将句子中的每个词汇映射为相应的标签。实验结果表明,在NYT数据集上该模型的F1值达到0.841,优于HRL、OrderRL等模型,在存在SEO重叠类型的关系抽取中,F1值仍能达到0.745,所提模型能够在一定程度上解决关系重叠问题同时有效提升关系抽取性能。

面向少量标注数据的中文命名实体识别

训练数据的缺乏是目前命名实体识别存在的一个典型问题。实体触发器可以提高模型的成本效益,但这种触发器需要大量的人工标注,并且只适用于英文文本,缺少对其他语言的研究。为了解决现有TMN模型实体触发器高成本和适用局限性的问题,提出了一种新的触发器自动标注方法及其标注模型GLDM-TMN。该模型不仅能够免去人工标注,而且引入了Mogrifier LSTM结构、Dice损失函数及多种注意力机制增强触发器匹配准确率及实体标注准确率。在两个公开数据集上的仿真实验表明:与TMN模型相比,在相同的训练数据下,GLDM-TMN模型的F_(1)值在Resume NER数据集和Weibo NER数据集上分别超出TMN模型0.0133和0.034。同时,该模型仅使用20%训练数据比例的性能就可以优于使用40%训练数据比例的BiLSTM-CRF模型性能。

基于数据关联感知的无监督深度融合指针网络模型

为了提高组合优化问题可行解集合的收敛性和泛化性,根据不同无监督学习策略的特点,提出一种基于数据关联感知的深度融合指针网络模型(DMAG-PN),模型通过指针网络框架将Mogrifier LSTM、多头注意力机制与图卷积神经网络三者融合.首先,编码器模块中的嵌入层对输入序列进行编码,引入多头注意力机制获取编码矩阵中的特征信息;然后构建数据关联模型探索序列节点间的关联性,采用图卷积神经网络获取其多维度关联特征信息并融合互补,旨在生成多个嵌入有效捕捉序列深层的节点特征和边缘特征;最后,基于多头注意力机制的解码器模块以节点嵌入数据和融合图嵌入数据作为输入,生成选择下一个未访问节点的全局概率分布.采用对称旅行商问题作为测试问题,与当前先进算法进行对比,实验结果表明,所提出DMAG-PN模型在泛化性和求解精确性方面获得较大的改进与提高,预训练好的DMAG-PN模型能够直接对大规模实例进行端到端的求解,避免传统算法迭代搜索的过程,具有较高的求解效率.