基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

融合Transformer和交互注意力网络的方面级情感分类模型

现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而,循环神经网络不能并行计算,并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题,传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题,该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量,然后使用Transformer编码器对输入的句子进行并行编码,接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明,该文所提模型在准确率和F1上均表现最优。

融合交互注意力网络的实体和关系联合抽取模型

实体关系三元组的抽取效果直接影响后期知识图谱构建的质量,而传统流水线式和联合式抽取的模型,并没有对句子级别和关系级别的语义特征进行有效建模,从而导致模型性能的缺失。为此,提出一种融合句子级别和关系级别的交互注意力网络的实体和关系联合抽取模型RSIAN,该模型通过交互注意力网络来学习句子级别和关系级别的高阶语义关联,增强句子和关系之间的交互,辅助模型进行抽取决策。在构建的中文旅游数据集(TDDS)的Precision、Recall和F1值分别为0.872、0.760和0.812,其性能均优于其他对比模型;为了进一步验证该模型在英文联合抽取上的性能,在公开英文数据集NYT和Webnlg上进行实验,该模型的F1值相比基线模型RSAN模型分别提高了0.014和0.013,并且该模型在重叠三元组的分析实验也均取得了优于基线模型的性能且更稳定。

基于多光谱交互注意力融合的多尺度无人机小目标检测

针对无人机检测中存在的目标较小、受背景环境影响大、以及多光谱特征难以深度融合等问题,本文提出了针对无人机小目标检测的多尺度多光谱交互注意力融合目标检测模型.首先,将骨干网络设计为双流网络,分别提取不同尺度红外和可见光特征,并增加小目标检测层和BiFPN级联操作,提升对无人机小目标特征的提取能力.其次,创新性的设计了多光谱交互注意力融合模块,在该融合模块的指导下,网络可以在不同尺度融合红外和可见光模态的信息,使红外和可见光的特征进行深度聚合,发挥各自模态的优势,指导开展无人机小目标检测.实验结果表明,与最先进的多光谱目标检测模型相比,本文提出的模型在FLIR、LLVIP两个公开的多光谱目标检测数据集上都达到了优越的性能,在构建的多光谱无人机数据集上,本文提出的模型有效提升了无人机的检测精度和鲁棒性.

结合三维交互注意力与语义聚合的表情识别

针对传统卷积网络难以有效整合不同阶段人脸面部表情的特征、存在特征表征瓶颈以及无法高效利用上下文语义等问题,提出了一种结合三维交互注意力与语义聚合的面部表情识别方法。在秩扩展(ReXNet)网络的基础上对其进行优化,在消除表征瓶颈的情况下,融合上下文特征,使其更适配表情识别任务。为捕获判别性人脸表情细粒度特征,结合非本地块与跨维度信息交互理论构建了三维交互注意力。为充分利用表情的浅中层底层特征与高层语义特征,设计了语义聚合模块,将多级全局上下文特征与高级语义信息进行聚合,达到同一类别的表情语义相互增益、增强类内一致性的目的。实验表明,该方法在公开数据集RAF-DB、FERPlus和AffectNet-8上的准确率分别为88.89%、89.53%与62.22%,展现了该方法的先进性。

基于位置编码重叠切块嵌入和多尺度通道交互注意力的鱼类图像分类

水下鱼类图像分类是一项极具挑战性的任务。传统Vision Transformer(ViT)网络骨干的局限性较大,难以处理局部连续特征,在图像质量较低的鱼类分类中效果表现不佳。为解决此问题,提出一种基于位置编码的重叠切块嵌入(OPE)和多尺度通道交互注意力(MCIA)的Transformer图像分类网络PIFormer(Positional overlapping and Interactive attention transFormer)。PIFormer采用多层级形式构建,每层以不同次数堆叠,利于提取不同深度的特征。首先,引入深度位置编码重叠切块嵌入(POPE)模块对特征图与边缘信息进行重叠切块,以保留鱼体的局部连续特征,并添加位置信息以排序,帮助PIFormer整合细节特征和构建全局映射;其次,提出MCIA模块并行处理局部与全局特征,并建立鱼体不同部位的长距离依赖关系;最后,由分组多层感知机(GMLP)分组处理高层次特征,以提升网络效率,并实现最终的鱼类分类。为验证PIFormer的有效性,提出自建东湖淡水鱼类数据集,并使用公共数据集Fish4Knowledge与NCFM(Nature Conservancy Fisheries Monitoring)以确保实验公平性。实验结果表明,所提网络在各数据集上的Top-1分类准确率分别达到了97.99%、99.71%和90.45%,与同级深度的ViT、Swin Transformer和PVT(Pyramid Vision Transformer)相比,参数量分别减少了72.62×10^(6)、14.34×10^(6)和11.30×10^(6),浮点运算量(FLOPs)分别节省了14.52×10^(9)、2.02×10^(9)和1.48×10^(9)。可见,PIFormer在较少的计算负荷下,具有较强的鱼类图像分类能力,取得了优越的性能。

基于交互注意力机制的心理咨询文本情感分类模型

心理咨询场景下的情感分类旨在获得咨询者话语的情感倾向,为建立心理咨询AI助手提供支持。现有的方法利用语境信息获取文本情感倾向,但未考虑对话记录中当前句与前向近邻句之间的情感传递。针对这一问题,提出一种基于交互注意力(AOA)机制的心理咨询文本情感分类模型,根据时序对历史情感词分配权重,进而提高分类准确率。利用构建的心理健康情感词典分别提取对话双方的历史情感词序列,再将当前句和历史情感词序列输入到双向长短期记忆(BiLSTM)网络获取对应的特征向量,并利用艾宾浩斯遗忘曲线对历史情感词序列分配权重。通过AOA机制获得惯性特征和交互特征,并结合文本特征输入到分类层计算情感倾向概率。在公开数据集Emotional First Aid Dataset上的实验结果表明,相较于Caps-DGCN(Capsule network and Directional Graph Convolutional Network)模型,所提模型的F1值提高了1.55%。可见,所提模型可以有效提升心理咨询文本的情感分类效果。

基于交互注意力的红外与可见光图像融合算法

为解决现有红外与可见光图像融合目标不够显著,轮廓纹理细节不够清晰等问题,提出了一种基于交互注意力的红外和可见光图像融合网络。该方法通过双流特征提取分支提取源图像的多尺度特征,然后经过交互融合网络获得注意力图,以便从红外与可见光图像中自适应地选择特征进行融合,最后通过图像重建模块生成高质量的融合图像。在MSRS数据集和TNO数据集的实验结果表明,所提方法在主观视觉描述和客观指标评价方面均表现出了较好的性能,融合结果包含更清晰的细节信息和更明显的目标。

知识增强的交互注意力方面级情感分析模型

方面级情感分析(ABSA)已经成为自然语言处理领域的研究热点,与传统的情感分析技术相比,基于方面的情感分析能够判断句子中多个方面的情感倾向,可以更加准确地挖掘用户对方面的情感极性。当前,将注意力机制和神经网络相结合的模型在解决方面级情感分析任务时大多仅考虑方面对上下文的影响,且时常忽略句子中的相关语法信息和背景知识。针对上述问题,提出一种借助知识图谱和图卷积网络的交互注意力神经网络模型,为评论文本注入背景信息和语言知识。首先,利用知识图谱解决词汇在不同语境下的一词多义性问题。其次,利用文本图卷积网络完善评论语句的语法结构信息。最后,通过交互注意力机制实现评论文本上下文与评价方面的协调优化。最终在五个公开数据集上的实验结果表明,合理利用外部知识是改善方面级情感分析模型性能的有效策略。

基于交互注意力和图卷积网络的方面级情感分析

方面级情感分析是细粒度情感分析中的一项关键任务,旨在预测一个句子中不同方面术语的情感倾向。针对目前结合图卷积网络的研究忽略方面术语本身的含义以及方面术语与上下文之间的交互的问题,文中提出了基于交互注意力和图卷积网络的模型(Interactive Attention Graph Convolution Network,IAGCN)。该模型首先结合BiLSTM和修正动态权重层对上下文进行建模,其次在句法依存树上使用图卷积网络对句法信息进行编码,然后利用交互注意力机制学习上下文和方面术语中的注意力,重构上下文和方面术语的表示,最后通过softmax层获取给定方面术语的情感极性。与基线模型相比,所提模型在5个数据集中的准确率和F1值分别提高了0.56%~1.75%和1.34%~4.04%。同时,将预训练模型BERT应用到此任务中,相比基于GloVe的IAGCN模型,其准确率和F1值分别提高了1.47%~3.95%和2.59%~7.55%,模型效果有了进一步的提升。

基于图卷积网络的多交互注意方面级情感分析

为解决当前方面级情感分析中提取语义句法信息不充分导致分类结果不准确的问题,提出一种基于图卷积网络的多交互注意模型。基于注意力机制和句法相对距离分别重构带有权重的语义图邻接矩阵和句法图邻接矩阵,以这种方式存储更多信息,结合图卷积网络充分挖掘上下文中更深层次的语义和句法信息;通过掩码机制和交互注意完成方面词与上下文的语义交互和句法交互,捕获相关关联并进行特征融合。在SemEval 2014和Twitter数据集上进行实验,实验结果表明,该模型与基于注意力的模型和基于图卷积网络的模型相比,有更好的分类效果。

基于交互注意力的双图卷积网络的金融实体情感极性识别方法

实体情感极性识别是一项细粒度情感分析任务,旨在判断给定实体的情感极性。针对金融领域中同一文本中存在多个实体这一问题,该文提出了一种基于交互注意力的双图卷积网络的金融实体情感极性识别方法(ASynSemGCN)。该方法利用预训练模型RoBERTa-wwm-ext,结合实体对句子进行初始表示,再通过多头注意力建立实体与句子之间的交互信息表示。在此基础上,分别利用语法图卷积网络(SynGCN)和语义图卷积网络(SemGCN)对句子进行句法和语义的深层表示,最后,将实体的深层表示、实体字级嵌入表示以及句子嵌入表示拼接,通过全连接层对实体进行情感极性判别。在自建的金融实体情感数据集上进行实验,实验结果表明,该文提出的方法对于金融实体情感极性识别是有效的。

基于交互注意力机制的方面级多模态情感分析

近年来,由于智能手机的普及,使得以图片和文本为主要内容的用户评论不断增长,研究这些用户评论的情感倾向,对于企业优化其产品和服务具有十分重要的意义。然而,先前的方面级情感分析工作大多是面向文本的,对于融合了图片和文本的方面级情感分析鲜有研究。为此,该文提出了一种基于交互注意力机制的方面级多模态情感分析方法。该模型采用双向长短期记忆网络,捕获各模态和方面词的语义相关性,然后将处理后的文本和图像特征通过交互注意力机制,挖掘模态之间的关联性。此外,该文还采用了注意-过度注意网络共同学习句子和方面词的表示,并自动关注句子中的重要部分。在Multi-ZOL数据集上的实验结果表明,该模型在方面级情感分析任务上的表现是有效的。

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分:文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。

红外与可见光图像交互注意力生成对抗融合方法

为了解决生成对抗融合方法获得的融合图像不能同时保留红外图像典型目标和可见光图像纹理细节的问题,提出一种红外与可见光图像交互注意力生成对抗融合方法。首先,在生成网络模型中采用权重参数共享的双路编码器架构,利用多尺度聚合卷积模块提取源图像各自的深度特征;其次,在融合层设计上,利用交互注意力融合模型建立两类图像局部特征的全局依赖特性,获得的注意力图更聚焦于红外典型目标和可见光纹理细节,实现红外与可见光图像端到端融合。最后,在对抗网络模型中,采用双鉴别器均衡判定融合图像与源图像间的真假性,相互补偿的损失函数优化生成网络模型获得最佳的融合结果。与现有典型融合方法的对比实验结果表明,该方法能够获得更平衡的融合结果,在主观视觉描述和客观指标评价上都优于其他方法。

面向多模态情感分析的双模态交互注意力

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。

基于词级交互注意力机制的方面级情感分类模型

方面级情感分类旨在判断句子中每个具体方面的情感极性.传统的注意力机制模型可能会给句子中重要情感词分配过低的注意力权重,而且很少考虑上下文与方面词的交互信息.针对第1个问题,本文改进了传统的输入方式,以方面词为界限,将句子划分成包含方面词的上文、方面词和包含方面词的下文3部分作为输入,分别提取上文或下文中的重要情感特征.针对第2个问题,本文提出了词级交互注意力机制,分别学习上文与方面词、下文与方面词的词级交互,得到特定于方面的上文表示和下文表示向量,最后将它们拼接得到特定于方面的上下文表示向量,作为方面级情感分类特征.通过在3个标准数据集上的实验证明,本文的模型性能优于基线模型.

基于交互注意力的可解释性推荐方法

目前基于评论的推荐算法大多采用静态独立的方法提取用户和物品评论的潜在特征表示,将用户的偏好表示为静态特征向量,而用户在与不同的物品交互时通常表现出不同的偏好。因此,提出一种基于交互注意力的可解释性推荐方法,利用交互注意力来研究用户评论和物品评论之间的相关性。另外,受LSTM中门控制的启发,模型还增加门控层来自适应地合并两边网络提取出的特征向量,利用注意力因子分解机进一步对高阶特征交互进行建模,实现评分预测。通过注意力权重衡量评论信息,提高预测评分的可解释性。实验结果表明,推荐结果准确性进一步提高,验证了该方法的有效性。

用于特定目标情感分析的交互注意力网络模型

特定目标情感分析旨在判别评论中不同目标所对应的情感极性。越来越多的研究人员采用基于神经网络的各种方法在特定目标情感分析任务中取得了较好的成绩。但大多数与目标相关的模型只关注目标对上下文建模的影响,而忽略了上下文在目标建模中的作用。为了解决上述问题,提出一种交互注意力网络模型(LT-T-TR),该模型将一条评论分为三个部分:包含目标的上文,目标,包含目标的下文。通过注意力机制进行目标与上下文的交互,学习各自的特征表示,从中捕获目标短语和上下文中最重要的情感特征信息。通过在两个标准数据集上的实验验证了模型的有效性。

基于交互注意力机制网络模型的故障文本分类

当前基于深度学习的故障文本分类已成为故障诊断和分析的关键技术,但单独使用循环神经网络或卷积神经网络难以有效捕获故障文本中的关键分类特征,鉴于此,提出一种交互注意力机制网络模型,用于捕获故障文本中的关键分类特征,以提升分类性能。该模型利用交互注意力机制关注循环神经网络和卷积神经网络所提取特征中的关键分类特征,形成全局—局部特征;针对故障现象文本中故障件和故障模式两类关键分类信息,引入了故障件和故障模式注意力机制捕获关键故障信息,形成故障件—故障模式特征;基于全局—局部特征和故障件—故障模式特征的融合形成分类特征。利用多组数据进行故障文本分类实验,结果表明所提模型具有更优的性能。