采用多尺度注意力机制的远程监督关系抽取

针对目前大多数关系抽取模型中局部特征及全局特征利用不充分的缺点,该文提出一种采用多尺度注意力机制的远程监督关系抽取模型。在词语层面,通过在池化层构建权重矩阵来衡量词语与关系的相关程度,从而捕捉句子中重要的语义特征;在句子层面,采用注意力机制将预测关系与句子进行相关性比较,获得句子级别的重要信息。模型在NYT数据集上平均准确率达到78%,表明该模型能够有效地利用多尺度特征,并且提高远程关系抽取任务的准确率。

基于聚焦损失与残差网络的远程监督关系抽取

基于卷积神经网络的远程监督关系抽取方法提取的特征单一,且标准交叉熵损失函数未能较好处理数据集中正负样本比例不均衡的情况。为此,提出一种基于深度残差神经网络的远程监督关系抽取模型,通过改进交叉熵聚焦损失函数,提取句子中的深层语义特征,同时降低损失函数中负样本的权重,避免在NYT-Freebase标准数据集中引入NA关系类别的噪音。实验结果表明,该模型能增强深度残差神经网络对含噪音数据的表示学习能力,有效提高远程监督关系抽取任务的分类准确率。