结合三维交互注意力与语义聚合的表情识别

针对传统卷积网络难以有效整合不同阶段人脸面部表情的特征、存在特征表征瓶颈以及无法高效利用上下文语义等问题,提出了一种结合三维交互注意力与语义聚合的面部表情识别方法。在秩扩展(ReXNet)网络的基础上对其进行优化,在消除表征瓶颈的情况下,融合上下文特征,使其更适配表情识别任务。为捕获判别性人脸表情细粒度特征,结合非本地块与跨维度信息交互理论构建了三维交互注意力。为充分利用表情的浅中层底层特征与高层语义特征,设计了语义聚合模块,将多级全局上下文特征与高级语义信息进行聚合,达到同一类别的表情语义相互增益、增强类内一致性的目的。实验表明,该方法在公开数据集RAF-DB、FERPlus和AffectNet-8上的准确率分别为88.89%、89.53%与62.22%,展现了该方法的先进性。

融合交互注意力网络的实体和关系联合抽取模型

实体关系三元组的抽取效果直接影响后期知识图谱构建的质量,而传统流水线式和联合式抽取的模型,并没有对句子级别和关系级别的语义特征进行有效建模,从而导致模型性能的缺失。为此,提出一种融合句子级别和关系级别的交互注意力网络的实体和关系联合抽取模型RSIAN,该模型通过交互注意力网络来学习句子级别和关系级别的高阶语义关联,增强句子和关系之间的交互,辅助模型进行抽取决策。在构建的中文旅游数据集(TDDS)的Precision、Recall和F1值分别为0.872、0.760和0.812,其性能均优于其他对比模型;为了进一步验证该模型在英文联合抽取上的性能,在公开英文数据集NYT和Webnlg上进行实验,该模型的F1值相比基线模型RSAN模型分别提高了0.014和0.013,并且该模型在重叠三元组的分析实验也均取得了优于基线模型的性能且更稳定。

基于交互注意力的红外与可见光图像融合算法

为解决现有红外与可见光图像融合目标不够显著,轮廓纹理细节不够清晰等问题,提出了一种基于交互注意力的红外和可见光图像融合网络。该方法通过双流特征提取分支提取源图像的多尺度特征,然后经过交互融合网络获得注意力图,以便从红外与可见光图像中自适应地选择特征进行融合,最后通过图像重建模块生成高质量的融合图像。在MSRS数据集和TNO数据集的实验结果表明,所提方法在主观视觉描述和客观指标评价方面均表现出了较好的性能,融合结果包含更清晰的细节信息和更明显的目标。

知识增强的交互注意力方面级情感分析模型

方面级情感分析(ABSA)已经成为自然语言处理领域的研究热点,与传统的情感分析技术相比,基于方面的情感分析能够判断句子中多个方面的情感倾向,可以更加准确地挖掘用户对方面的情感极性。当前,将注意力机制和神经网络相结合的模型在解决方面级情感分析任务时大多仅考虑方面对上下文的影响,且时常忽略句子中的相关语法信息和背景知识。针对上述问题,提出一种借助知识图谱和图卷积网络的交互注意力神经网络模型,为评论文本注入背景信息和语言知识。首先,利用知识图谱解决词汇在不同语境下的一词多义性问题。其次,利用文本图卷积网络完善评论语句的语法结构信息。最后,通过交互注意力机制实现评论文本上下文与评价方面的协调优化。最终在五个公开数据集上的实验结果表明,合理利用外部知识是改善方面级情感分析模型性能的有效策略。

基于交互注意力和图卷积网络的方面级情感分析

方面级情感分析是细粒度情感分析中的一项关键任务,旨在预测一个句子中不同方面术语的情感倾向。针对目前结合图卷积网络的研究忽略方面术语本身的含义以及方面术语与上下文之间的交互的问题,文中提出了基于交互注意力和图卷积网络的模型(Interactive Attention Graph Convolution Network,IAGCN)。该模型首先结合BiLSTM和修正动态权重层对上下文进行建模,其次在句法依存树上使用图卷积网络对句法信息进行编码,然后利用交互注意力机制学习上下文和方面术语中的注意力,重构上下文和方面术语的表示,最后通过softmax层获取给定方面术语的情感极性。与基线模型相比,所提模型在5个数据集中的准确率和F1值分别提高了0.56%~1.75%和1.34%~4.04%。同时,将预训练模型BERT应用到此任务中,相比基于GloVe的IAGCN模型,其准确率和F1值分别提高了1.47%~3.95%和2.59%~7.55%,模型效果有了进一步的提升。

基于交互注意力的双图卷积网络的金融实体情感极性识别方法

实体情感极性识别是一项细粒度情感分析任务,旨在判断给定实体的情感极性。针对金融领域中同一文本中存在多个实体这一问题,该文提出了一种基于交互注意力的双图卷积网络的金融实体情感极性识别方法(ASynSemGCN)。该方法利用预训练模型RoBERTa-wwm-ext,结合实体对句子进行初始表示,再通过多头注意力建立实体与句子之间的交互信息表示。在此基础上,分别利用语法图卷积网络(SynGCN)和语义图卷积网络(SemGCN)对句子进行句法和语义的深层表示,最后,将实体的深层表示、实体字级嵌入表示以及句子嵌入表示拼接,通过全连接层对实体进行情感极性判别。在自建的金融实体情感数据集上进行实验,实验结果表明,该文提出的方法对于金融实体情感极性识别是有效的。

基于交互注意力机制的方面级多模态情感分析

近年来,由于智能手机的普及,使得以图片和文本为主要内容的用户评论不断增长,研究这些用户评论的情感倾向,对于企业优化其产品和服务具有十分重要的意义。然而,先前的方面级情感分析工作大多是面向文本的,对于融合了图片和文本的方面级情感分析鲜有研究。为此,该文提出了一种基于交互注意力机制的方面级多模态情感分析方法。该模型采用双向长短期记忆网络,捕获各模态和方面词的语义相关性,然后将处理后的文本和图像特征通过交互注意力机制,挖掘模态之间的关联性。此外,该文还采用了注意-过度注意网络共同学习句子和方面词的表示,并自动关注句子中的重要部分。在Multi-ZOL数据集上的实验结果表明,该模型在方面级情感分析任务上的表现是有效的。

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分:文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。

红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法。首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局依赖特性,获得的注意力图更聚焦于红外典型目标和可见光纹理细节,实现红外与可见光图像端到端融合。最后,在对抗网络模型中,采用双鉴别器均衡判定融合图像与源图像间的真假性,相互补偿的损失函数优化生成网络模型获得最佳的融合结果。与现有典型融合方法的对比实验结果表明,该方法能够获得更平衡的融合结果,在主观视觉描述和客观指标评价上都优于其他方法。

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。

基于词级交互注意力机制的方面级情感分类模型

方面级情感分类旨在判断句子中每个具体方面的情感极性.传统的注意力机制模型可能会给句子中重要情感词分配过低的注意力权重,而且很少考虑上下文与方面词的交互信息.针对第1个问题,本文改进了传统的输入方式,以方面词为界限,将句子划分成包含方面词的上文、方面词和包含方面词的下文3部分作为输入,分别提取上文或下文中的重要情感特征.针对第2个问题,本文提出了词级交互注意力机制,分别学习上文与方面词、下文与方面词的词级交互,得到特定于方面的上文表示和下文表示向量,最后将它们拼接得到特定于方面的上下文表示向量,作为方面级情感分类特征.通过在3个标准数据集上的实验证明,本文的模型性能优于基线模型.

用于特定目标情感分析的交互注意力网络模型

特定目标情感分析旨在判别评论中不同目标所对应的情感极性。越来越多的研究人员采用基于神经网络的各种方法在特定目标情感分析任务中取得了较好的成绩。但大多数与目标相关的模型只关注目标对上下文建模的影响,而忽略了上下文在目标建模中的作用。为了解决上述问题,提出一种交互注意力网络模型(LT-T-TR),该模型将一条评论分为三个部分:包含目标的上文,目标,包含目标的下文。通过注意力机制进行目标与上下文的交互,学习各自的特征表示,从中捕获目标短语和上下文中最重要的情感特征信息。通过在两个标准数据集上的实验验证了模型的有效性。

基于交互注意力的可解释性推荐方法

目前基于评论的推荐算法大多采用静态独立的方法提取用户和物品评论的潜在特征表示,将用户的偏好表示为静态特征向量,而用户在与不同的物品交互时通常表现出不同的偏好。因此,提出一种基于交互注意力的可解释性推荐方法,利用交互注意力来研究用户评论和物品评论之间的相关性。另外,受LSTM中门控制的启发,模型还增加门控层来自适应地合并两边网络提取出的特征向量,利用注意力因子分解机进一步对高阶特征交互进行建模,实现评分预测。通过注意力权重衡量评论信息,提高预测评分的可解释性。实验结果表明,推荐结果准确性进一步提高,验证了该方法的有效性。

基于交互注意力机制网络模型的故障文本分类

当前基于深度学习的故障文本分类已成为故障诊断和分析的关键技术,但单独使用循环神经网络或卷积神经网络难以有效捕获故障文本中的关键分类特征,鉴于此,提出一种交互注意力机制网络模型,用于捕获故障文本中的关键分类特征,以提升分类性能。该模型利用交互注意力机制关注循环神经网络和卷积神经网络所提取特征中的关键分类特征,形成全局—局部特征;针对故障现象文本中故障件和故障模式两类关键分类信息,引入了故障件和故障模式注意力机制捕获关键故障信息,形成故障件—故障模式特征;基于全局—局部特征和故障件—故障模式特征的融合形成分类特征。利用多组数据进行故障文本分类实验,结果表明所提模型具有更优的性能。

融合情感词交互注意力机制的属性抽取研究

在现有的属性抽取研究中,注意力建模多采用全局或局部的自注意力机制,未能较好地利用句子本身所含有的情感词信息。然而,句子中所需抽取的属性大多存在若干与其具有强相关性的情感词。因此,利用情感词辅助注意力的建模可增强注意力的准确性。该文提出一种融合情感词的交互注意力机制,将文本中所有的情感词按序排列,并通过双向长短时记忆网络编码原始文本,利用全连接神经网络和高速网络编码排列的情感词;然后,利用情感词编码与原始文本编码建模交互注意力,从而使模型在情感词的辅助下精确地定位文中所包含的属性;最终,使用条件随机场进行属性标记。该文利用2014、2015语义评估属性级情感分析官方评测数据进行实验,验证了上述方法的有效性,该方法在三个基准数据集上F_(1)值分别提高了5.53、2.90和5.76个百分点。

结合依存句法分析与交互注意力机制的隐式方面提取

隐式方面提取对于提升细粒度情感分析的准确性具有重要意义,然而现有隐式方面提取技术在处理大规模数据时泛化能力不强。为此,提出结合依存句法分析与交互注意力机制的隐式方面提取模型。首先利用预训练语言模型BERT生成文本的初始表征,然后传递给依存句法引导的自注意力层再次处理,再将两次处理的结果经交互注意力机制进一步提取特征,最终用分类器判断句子所属的隐式方面类别。与基线BERT及其他深度神经网络模型对比,所提模型在增强的SemEval隐式方面数据集上取得了更高的F_(1)与AUC值,证明了模型的有效性。

融合交互注意力和参数自适应的商品会话推荐

在电商场景中,用户面对繁杂的商品时往往难以快速检索到所需商品,而基于会话的商品推荐能通过学习用户短期兴趣从而为其推荐可能感兴趣的商品,因此基于会话的推荐研究具有显著的理论和应用研究价值。已有的会话推荐算法大多关注于利用全局图中的信息来增强会话图中的表征学习,而忽略了会话图和全局图上物品表征之间的交互关系。该文提出一种通过交互注意力和改进参数自适应策略增强的图神经网络商品会话推荐模型。交互注意层通过提取强相关信息来修正全局图和会话图中的商品表示,而参数自适应层则通过改进参数自适应策略动态权重调整以获得物品的最终表示进而用于预测。实验结果表明,该文所提出的模型在Tmall数据集上显著优于对比模型。

基于交互注意力图卷积网络的方面情感分类

基于方面的情感分类任务旨在识别句子中给定方面词的情感倾向性。以往的方法大多基于长短时记忆网络和注意力机制,这种做法在很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性,但忽略了句中的语法信息。针对这种缺陷,提出了一种交互注意力的图卷积网络,同时建模了句中单词的语义相关性和语法相关性。首先使用双向长短时记忆网络来学习句子的词序关系,捕捉句中上下文的语义信息;其次引入位置信息后,通过图卷积网络来学习句中的语法信息;然后通过一种掩码机制提取方面词;最后使用交互注意力机制,交互计算特定方面的上下文表示,并将其作为最后的分类特征。通过这种优势互补的设计,该模型可以很好地获得聚合了目标方面信息的上下文表示,并有助于情感分类。实验结果表明,该模型在多个数据集上都获得了优秀的效果。与未考虑语法信息的Bi-IAN模型相比,该模型在所有数据集上的结果均优于Bi-IAN模型,尤其在餐厅领域的REST14,REST15和REST16数据集上,该模型的F1值较Bi-IAN模型分别提高了4.17%,7.98%和8.03%;与同样考虑了语义信息和语法信息的ASGCN模型相比,该模型的F1值在除了LAP14数据集外的其他数据集上均优于ASGCN模型,尤其在餐厅领域的REST14,REST15和REST16数据集上,该模型的F1值较ASGCN模型分别提高了2.05%,1.66%和2.77%。

基于预训练语言模型及交互注意力的平行句对抽取方法

从互联网可比语料中筛选高质量的平行句对,是提升低资源机器翻译性能的有效手段之一。针对该问题,融合预训练语义表征提出一种基于双向交互注意力机制的跨语言文本语义匹配方法,首先利用预训练语言模型分别获得源语言和目标语言的双语表征,其次基于双向交互注意力机制实现跨语言特征的空间语义对齐,最后基于多视角特征融合后的语义表征实现跨语言句对的关系判定。实验结果表明,所提方法优于已有的平行句对抽取模型。此外,借助抽取出的平行语料,机器翻译模型的性能得到了明显的改善。

利用层级交互注意力的文本摘要方法

基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用。在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能。然而现有的模型在解码时仅利用编码器最后一层信息,而忽略编码器其余层的特征。鉴于此,提出一种基于多层循环神经网络和层级交互注意力机制的摘要生成模型,通过层级交互注意力提取编码器不同层次的特征信息来指导摘要的生成。为了处理因引入不同层次特征而带来的信息冗余问题,引入变分信息瓶颈压缩数据噪声。最后在Gigaword和DUC2004摘要数据集上进行实验,结果表明所提方法能够获得最佳性能。