基于残差注意力的新槽值抽取研究

针对任务型对话中用户输入存在新槽值难以提取的问题,提出一种基于双向长短时记忆神经网络的特征融合模型。通过负样本添加技术缓解新槽值识别问题;引入注意力机制来提取用户输入中词与词之间的权重特征;在多层堆叠长短时记忆神经网络之间用残差连接以缓解特征提取过程中的信息丢失,将得到的融合特征输入到条件随机场筛选出合理的标注序列。在DSTC3数据集上进行相关测试,实验结果表明,该模型在新槽值、已知槽值和总数据集上的识别准确率分别为70.73%、91.56%和87.11%,性能相比baseline方法有显著提高。

BSLRel:基于二元序列标注的级联关系三元组抽取模型

关系三元组抽取是构建大规模知识图谱的基础,近年来受到学术界和工业界的广泛关注。为了提高模型对重叠关系三元组和多槽值关系三元组的抽取能力,该文提出了一个基于神经网络的端到端的关系三元组抽取模型BSLRel。其主要特点是将关系三元组抽取任务转化为级联的二元序列标注任务,并使用多信息融合结构Conditional Layer Normalization进行信息融合。实验结果显示,BSLRel模型对重叠关系三元组和多槽值关系三元组具有较强的抽取能力。基于BSLRel模型,该团队参加了“2020语言与智能技术竞赛”中的关系三元组抽取任务,并取得了第五名的成绩。