基于标签信息融合与多任务学习的中文命名实体识别

随着中文命名实体识别研究的不断深入,大多数模型关注融入词汇或字形信息来丰富特征表示,但是却忽略了标签信息。因此文中提出了一种融合标签信息的中文命名实体识别模型。首先,通过预训练模型BERT-wwm得到字符的嵌入表示,并将标签向量化,使用Transformer解码器结构将字符表示与标签表示进行交互学习,捕捉字符与标签的相互依赖关系,丰富字符的特征表示。为了促进标签信息的学习,构建了基于文本句的监督信号,增加了多标签文本分类任务,采用多任务学习的方式进行训练。其中,命名实体识别任务采用条件随机场进行解码预测,多标签文本分类任务采用双仿射机制进行解码预测,两任务共享除解码层以外的所有参数,保证了不同的监督信息反馈到每个子任务。在公开数据集MSRA,Weibo和Resume上进行了多组对比实验,分别获得了95.75%,72.17%,96.23%的F1值。与多个基准模型相比,所提模型的实验效果有一定的提升,证明了该模型的有效性与可行性。

基于跨度边界感知的嵌套命名实体识别

命名实体识别任务是信息抽取领域中的一个基础任务,旨在定位句子中实体所在位置的边界,并对该实体进行分类.针对现有基于跨度检测的模型存在的嵌套实体边界模糊问题,提出一种基于跨度边界感知的嵌套命名实体识别模型.首先,利用双仿射注意力机制,捕获词元间的语义相关性,进而生成跨度语义表示矩阵;其次,通过设计一种二阶对角邻域差分算子,建立跨度语义差分机制,以提取跨度间的语义差异信息.此外,引入一种跨度边界感知机制,利用滑动窗口的局部特征提取能力,强化跨度的边界语义差异,从而准确定位实体跨度位置.为验证模型的有效性,在3个基准数据集上进行测试,包括ACE04、ACE05和Genia数据集.实验结果表明,提出的模型在实体识别准确率的表现优于相关工作.此外,还设计消融实验和案例分析以验证提出的语义差分机制和跨度边界感知机制的有效性,为进一步研究命名实体识别问题提供新的思路和实验证据.

多特征交互的方面情感三元组提取

方面情感三元组提取是方面级情感分析的子任务之一,旨在提取句子中的方面词、其对应的意见词和情感极性。先前研究集中于设计一种新范式以端到端的方式完成三元组提取任务。然而,这些方法忽略外部知识在模型中的作用,没有充分挖掘和利用语义信息、词性信息以及局部上下文信息。针对上述问题,提出了多特征交互的方面情感三元组提取(MFI-ASTE)模型。首先,该模型通过BERT预训练模型学习句子中的上下文语义特征信息,并使用自注意力机制加强语义特征;其次,使语义特征与所提取到的词性特征交互,二者相互学习,加强词性的组合能力与语义信息;再次,使用多个不同窗口的卷积神经网络提取每个单词的多重局部上下文特征并使用多分门控机制筛选这些多重局部特征;然后,采用双线性层融合提取到的三类外部知识特征;最后,利用双仿射注意力机制预测网格标记并通过特定的解码方案解码三元组。实验结果表明,该模型在四个数据集上的F1值比现有的主流模型分别提升了6.83%、5.60%、0.54%和1.22%。

基于MUBTM的方面词情感三元组抽取方法研究

方面词情感三元组抽取旨在从评论文本中识别方面词、评论观点词及情感极性。针对现有研究容易忽略三元组中部分实体与其情感极性在标记空间中的关联关系,并且较易出现三元组边界识别错误的问题,提出一种基于表格填充的多类别统一及边界标记模型(MUBTM)。首先,采用双仿射注意力机制学习词对间的交互,并构建多类别统一标记空间;然后,利用标记空间的对称性结构化约束与级联二进制边界约束,限制词对间的概率分布;最后,根据子元素在统一标记空间中结构为正方形或矩形的特性,逐步解码生成方面词情感三元组。实验结果表明,与其他基线模型相比,本模型在方面词情感三元组抽取上的F1值有显著提升,表明了所提出方法的可行性。

基于多特征和跨模态知识蒸馏的鱼病命名实体识别

为解决多模态鱼病知识缺乏合理安排的问题,同时降低知识蒸馏过程的冗余数据,从而部署存储低、样本小、精度高的识别模型,提出一种基于多特征协同预测-跨模态多头蒸馏的方法,命名为FSFDAI-TMRD。在多特征协同预测方面,重点改进了原多任务多特征协同预测架构。首先使用更细粒度的BMES(Begin-middle-end-single)法代替原工作中BIO(Begin-inside-outside)法的粗略标注,其次修改原架构的联合概率分布计算公式,使得模型可以更好地识别嵌套名词实体。在跨模态多头蒸馏方面,本文运用了跨模态注意力机制。首先计算合并、拆分和点积后的多头关系矩阵,其次利用相对熵进行知识蒸馏,使得模型可以更好地对齐异构师生间的中间特征。同时,本文还应用了双仿射注意力机制及对抗性权重扰动函数等方法,加强学习语义语音和字形词义等多特征知识。与主流模型相比,本文方法的精确率、召回率和F1值分别提升了0.45%、3.96%和2.28%,并且存储优化比例提高3.01%,模型参数规模缩小94.86%。