基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于交互注意力机制的心理咨询文本情感分类模型

心理咨询场景下的情感分类旨在获得咨询者话语的情感倾向,为建立心理咨询AI助手提供支持。现有的方法利用语境信息获取文本情感倾向,但未考虑对话记录中当前句与前向近邻句之间的情感传递。针对这一问题,提出一种基于交互注意力(AOA)机制的心理咨询文本情感分类模型,根据时序对历史情感词分配权重,进而提高分类准确率。利用构建的心理健康情感词典分别提取对话双方的历史情感词序列,再将当前句和历史情感词序列输入到双向长短期记忆(BiLSTM)网络获取对应的特征向量,并利用艾宾浩斯遗忘曲线对历史情感词序列分配权重。通过AOA机制获得惯性特征和交互特征,并结合文本特征输入到分类层计算情感倾向概率。在公开数据集Emotional First Aid Dataset上的实验结果表明,相较于Caps-DGCN(Capsule network and Directional Graph Convolutional Network)模型,所提模型的F1值提高了1.55%。可见,所提模型可以有效提升心理咨询文本的情感分类效果。

基于平行交互注意力网络的中文电子病历实体及关系联合抽取

基于电子病历构建医学知识图谱对医疗技术的发展具有重要意义,实体和关系抽取是构建知识图谱的关键技术。该文针对目前实体关系联合抽取中存在的特征交互不充分的问题,提出了一种平行交互注意力网络(PIAN)以充分挖掘实体与关系的相关性,在多个标准的医学和通用数据集上取得最优结果;当前中文医学实体及关系标注数据集较少,该文基于中文电子病历构建了实体和关系抽取数据集(CEMRIE),与医学专家共同制定了语料标注规范,并基于该文所提出的模型实验得出基准结果。

红外与可见光图像交互自注意力融合方法

针对现有红外与可见光图像融合方法仅仅依靠局部或全局特征表示,缺乏跨模态特征交互而造成融合性能低的问题,提出一种交互自注意力融合方法,利用Transformer对卷积神经网络提取的局部特征进行全局依赖关系建模,达到结合局部与全局关系的目的,提高特征表征能力。同时,构建了跨模态注意力交互模型,允许不同空间和独立通道之间以交互方式进行特征传递,以实现特征局部到全局的映射,从而增强两类图像的补充特性。在TNO、M3FD和Roadscene数据集上进行主客观实验,结果表明,与其他7种先进的融合方法相比,该方法在融合性能、模型泛化和计算效率方面都具有明显的优势,验证了方法的有效性和优越性。

融合交互注意力网络的实体和关系联合抽取模型

实体关系三元组的抽取效果直接影响后期知识图谱构建的质量,而传统流水线式和联合式抽取的模型,并没有对句子级别和关系级别的语义特征进行有效建模,从而导致模型性能的缺失。为此,提出一种融合句子级别和关系级别的交互注意力网络的实体和关系联合抽取模型RSIAN,该模型通过交互注意力网络来学习句子级别和关系级别的高阶语义关联,增强句子和关系之间的交互,辅助模型进行抽取决策。在构建的中文旅游数据集(TDDS)的Precision、Recall和F1值分别为0.872、0.760和0.812,其性能均优于其他对比模型;为了进一步验证该模型在英文联合抽取上的性能,在公开英文数据集NYT和Webnlg上进行实验,该模型的F1值相比基线模型RSAN模型分别提高了0.014和0.013,并且该模型在重叠三元组的分析实验也均取得了优于基线模型的性能且更稳定。

基于邻居交互增强和多头注意力机制的跨域推荐模型

针对基于映射的跨域推荐模型未充分关注源域中数据稀疏的用户,导致用户偏好的迁移效率降低的问题,提出了一种基于邻居交互增强和多头注意力机制的跨域推荐模型。首先,利用邻居用户的交互项目来增强源域中数据稀疏用户的交互序列,以捕获更丰富的用户行为信息。然后,采用多头注意力机制从交互序列中提取用户可迁移的偏好特征,以全面捕捉用户兴趣的多个方面。最后,将提取的用户特征输入元网络生成个性化映射函数,并根据源域迁移的用户嵌入来实现目标域的个性化推荐。在亚马逊和豆瓣数据集上进行实验,结果表明所提出的模型相较于最优的基线模型,平均绝对误差指标最高提升了6.54%,均方根误差指标最高提升了3.73%。有效地提高了目标域的推荐性能,能够在电子商务等领域为用户提供更准确的项目推荐。

融合门控单元与多头自注意力机制的特征自动交互推荐算法

为了解决推荐算法中使用手工制作、特征工程等方式枚举所有的特征组合不但会带来巨大的存储空间和计算成本,而且无用的特征交互会引入噪声使模型训练过程复杂化的问题,文中提出融合多头自注意力机制的特征自动交互推荐算法。该算法首先利用门控机制对输入特征进行初次筛选;然后将特征送入多头自注意力机制中,选取关键特征进行不同阶的组合;最后利用残差网络进行特征融合输出预测结果。该算法能有效地提高预测结果的准确性,同时具有良好的解释性。

基于注意力机制的分层次交互融合多模态情感分析

针对基于视频的多模态情感分析中,通常在同一语义层次采用同一种注意力机制进行特征捕捉,而未能考虑模态间交互融合对情感分类的差异性,从而导致模态间融合特征提取不充分的问题,提出一种基于注意力机制的分层次交互融合多模态情感分析模型(hierarchical interactive fusion network based on attention mechanism,HFN-AM),采用双向门控循环单元捕获各模态内部的时间序列信息,使用基于门控的注意力机制和改进的自注意机制交互融合策略分别提取属于句子级和篇章级层次的不同特征,并进一步通过自适应权重分配模块判定各模态的情感贡献度,通过全连接层和Softmax层获得最终分类结果。在公开的CMU-MOSI和CMU-MOSEI数据集上的实验结果表明,所给出的分析模型在2个数据集上有效改善了情感分类的准确率和F1值。

融合注意力机制的人机交互信息半监督敏感数据抽取算法

为提高敏感数据抽取效果,提出了融合注意力机制的人机交互信息半监督敏感数据抽取方法。融合类卷积以及人机交互注意力机制构建融合交互注意力机制双向长短词记忆(Bi-LSTM-CRF)模型,通过模型的类卷积交互注意力机制将敏感词转化为字符矩阵,采用Bi-LSTM对该矩阵进行编码获得敏感词字符级特点的分布式排列,通过Bi-LSTM对该分布式排列的二次编码获得敏感词上下文信息的隐藏状态,基于该隐藏状态通过类卷积注意力层与交互注意力层进行注意力加权,获得类卷积注意力矩阵与交互注意力矩阵,拼接两个矩阵得到双层注意力矩阵,利用交互注意力层门控循环单元升级双层注意力矩阵成新的注意力矩阵,经全连接降维获取敏感词对应的预测标签,实现人机交互信息半监督敏感数据抽取。实验结果说明:该方法可有效降低敏感数据抽取复杂度,具有较高的敏感数据抽取查全率。

基于交互注意力机制的方面级多模态情感分析

近年来,由于智能手机的普及,使得以图片和文本为主要内容的用户评论不断增长,研究这些用户评论的情感倾向,对于企业优化其产品和服务具有十分重要的意义。然而,先前的方面级情感分析工作大多是面向文本的,对于融合了图片和文本的方面级情感分析鲜有研究。为此,该文提出了一种基于交互注意力机制的方面级多模态情感分析方法。该模型采用双向长短期记忆网络,捕获各模态和方面词的语义相关性,然后将处理后的文本和图像特征通过交互注意力机制,挖掘模态之间的关联性。此外,该文还采用了注意-过度注意网络共同学习句子和方面词的表示,并自动关注句子中的重要部分。在Multi-ZOL数据集上的实验结果表明,该模型在方面级情感分析任务上的表现是有效的。

基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测

针对当前行人轨迹预测研究仅考虑影响行人交互因素的问题,基于状态精细化长短期记忆(SR-LSTM)和注意力机制提出一种用于行人轨迹预测的社交生成对抗网络(SRA-SIGAN)模型,利用生成对抗网络(GAN)学习获得目标行人的运动规律。首先,使用SR-LSTM作为位置编码器提取运动意图信息;其次,通过设置速度注意力机制合理地为同一场景中的行人分配影响力,以更好地处理行人的交互;最后,由解码器生成预测的未来轨迹。在多个公开数据集上的测试实验结果表明,SRA-SIGAN模型的总体表现良好。特别是在Zara1数据集上,与SR-LSTM模型相比,SRA-SIGAN模型的平均位移误差(ADE)和最终位移误差(FDE)分别减小了20.0%和10.5%;与社交生成对抗网络(SIGAN)模型相比,SRA-SIGAN的ADE和FDE分别下降了31.7%和24.4%。

知识增强的交互注意力方面级情感分析模型

方面级情感分析(ABSA)已经成为自然语言处理领域的研究热点,与传统的情感分析技术相比,基于方面的情感分析能够判断句子中多个方面的情感倾向,可以更加准确地挖掘用户对方面的情感极性。当前,将注意力机制和神经网络相结合的模型在解决方面级情感分析任务时大多仅考虑方面对上下文的影响,且时常忽略句子中的相关语法信息和背景知识。针对上述问题,提出一种借助知识图谱和图卷积网络的交互注意力神经网络模型,为评论文本注入背景信息和语言知识。首先,利用知识图谱解决词汇在不同语境下的一词多义性问题。其次,利用文本图卷积网络完善评论语句的语法结构信息。最后,通过交互注意力机制实现评论文本上下文与评价方面的协调优化。最终在五个公开数据集上的实验结果表明,合理利用外部知识是改善方面级情感分析模型性能的有效策略。

基于全局注意力信息交互的高光谱图像分类

近年来,研究者们发现基于双分支结构的高光谱图像分类方法可以更有效地提取图像的光谱特征和空间特征用于分类.但在双分支结构中,各分支只侧重于细化、提取光谱特征或空间特征,忽略了对光谱-空间跨维特征交互的研究,且两分支各自提取的部分交互不明显,因此影响了分类的性能.针对这一问题,本文提出了一种基于全局注意力信息交互的高光谱图像分类方法.首先采用密集连接网络分两个分支分别细化图像的光谱特征和空间特征,然后结合全局注意力机制(GAM)得到通道全局注意力特征和空间全局注意力特征,最后通过一个信息交互的模块实现光谱和空间信息的交互,更充分地利用光谱和空间信息实现分类.本文提出的方法分别在Pavia University(PU)和Salinas Valley(SV)两个数据集上进行了实验,相较于其他的4种方法,本文提出的方法在分类性能上取得了明显的提升.

基于偏置交叉注意力的点云配准算法

点云配准对机器视觉、人工智能等领域的发展起到了重要作用。针对传统点云配准算法与现有深度学习点云配准算法精度低和鲁棒性差的问题,提出一种基于偏置交叉注意力的点云配准网络模型OCADGCNN。该模型在动态图卷积神经网络(DGCNN)中插入偏置注意力模块用于提取全局特征向量,充分利用点云的局部结构信息和空间语义信息以减少信息损失;在特征提取中加入残差连接以提高网络性能;使用交互注意力模块实现全局特征之间的信息交换,以增强相关信息,抑制非重叠区域信息的干扰。实验结果显示,OCADGCNN模型在无噪和少量噪声的ModleNet40数据集中配准效果均优于ICP、PointNetLK、PCRNet、OMNet和DOPNet等配准方法,配准精度较高。在未知类别的实验中,OCADGCNN模型泛化能力较高,通用性良好,在点云完整度降低的情况下能够较好地处理低重叠度点云。

融合注意力机制的多标签文本分类

多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处理信息,针对文本和标签信息,自注意力机制进行特征处理,标签注意力机制和交互注意力机制进行依赖关系处理,进而得到两种不同状态下的表示方式;最后,通过两次融合,充分表示文本标签信息,得到较好的标签分类结果.实验结果显示,较之于基线方法,在精度和归一化折损累计增益上,该方法数据总体有所提高.由此,该方法可以有效地融合文本和标签信息,缓解标签相关性问题,有利于提升多标签文本分类任务性能.

基于动态图注意力的车辆轨迹预测研究

针对目前轨迹预测研究中交互建模方法使用的图注意力网络(GAT)为静态注意力,无法有效捕捉复杂道路场景中车辆间交互的问题,提出了一种基于编码器-解码器架构的动态图注意力网络(ED-DGAT)预测高速公路环境中运动车辆的未来轨迹。编码模块使用动态图注意力机制学习场景中车辆间的空间交互,采用状态简化动态图注意力网络建模解码阶段车辆运动的相互依赖,最后使用NGSIM数据集评估所提出的模型,并与长短时记忆(LSTM)、联合社交池化与长短时记忆(S-LSTM)、联合卷积社交池化与长短时记忆(CS-LSTM)算法模型进行对比分析,结果表明,预测轨迹的均方根误差(RMSE)降低了25%,且模型的推理速度为CS-LSTM模型的2.61倍。

基于交互注意力和图卷积网络的方面级情感分析

方面级情感分析是细粒度情感分析中的一项关键任务,旨在预测一个句子中不同方面术语的情感倾向。针对目前结合图卷积网络的研究忽略方面术语本身的含义以及方面术语与上下文之间的交互的问题,文中提出了基于交互注意力和图卷积网络的模型(Interactive Attention Graph Convolution Network,IAGCN)。该模型首先结合BiLSTM和修正动态权重层对上下文进行建模,其次在句法依存树上使用图卷积网络对句法信息进行编码,然后利用交互注意力机制学习上下文和方面术语中的注意力,重构上下文和方面术语的表示,最后通过softmax层获取给定方面术语的情感极性。与基线模型相比,所提模型在5个数据集中的准确率和F1值分别提高了0.56%~1.75%和1.34%~4.04%。同时,将预训练模型BERT应用到此任务中,相比基于GloVe的IAGCN模型,其准确率和F1值分别提高了1.47%~3.95%和2.59%~7.55%,模型效果有了进一步的提升。

面向方面级情感分析的交互关系图注意力网络

方面级别情感分析旨在分析网络评论每个方面的情感极性,是一种细粒度的情感分析技术。已经有许多相关研究把语法依赖树与图注意力网络结合应用到该任务,取得了较好的成绩。针对以往研究忽略关系类型信息,没有充分挖掘关系类型所包含的潜在语义信息,以及忽略了依赖关系和关系类型之间的联系等问题,提出了一种基于图注意力网络的交互关系图注意力网络模型(interactive relation graph attention network,IRGAT)。该模型提取关系类型的特征信息,使其与图注意力网络提取的上下文特征信息交互学习,使它们相互联系,强化各自的特征表示能力。通过方面注意力机制融合特征,再使用分类器捕获情感分类结果。该模型在四个公开数据集上进行了实验,实验结果表明,与现有的方面级情感分析模型相比,IRGAT模型的预测准确率和MF1值分别平均提升了1.52和1.56个百分点。

基于维度融合注意力的行人重识别

对于行人重识别,注意力机制具有增强显著特征和抑制不相关特征的优点,而先前基于注意力的方法大多独立关注通道域和空间域而忽略了通道与空间的对应关系。针对这一问题,提出一种维度融合注意力的行人重识别方法。在提取特征期间,采用滑动窗口的方法融合通道维度和空间维度,使用超大一维卷积核不断学习通道与空间之间的关系;在网络的最后阶段引入ECA注意力,ECA注意力具有局部跨通道交互的作用,与维度融合注意力相配合使用能够显著提高重识别率。实验结果表明,该方法在计算成本有限的情况下优于当前大多数方法。

融合标签特征和胶囊注意力的口语理解方法

针对目前意图检测和槽位填充联合学习中未充分考虑交互前标签特征信息的有效提取和融合,缺乏对交互后标签特征的提炼问题,提出一种融合标签特征和胶囊注意力的口语理解方法。主要由意图与槽位标签特征融合交互(label feature fusion interactive, LFFI)和多头胶囊注意力机制(multi-head capsule attention, MHCA)两大关键模组组成。LFFI-MHCA通过LFFI提取序列中有效的意图和槽位标签信息,对两者进行融合和交互;利用MHCA对交互过程中产生的不同子空间信息进行提炼,获得更为精确的意图和槽位标签特征。该模型在ATIS和SNIPS数据集上进行实验,句子准确率分别为88.1%和89.0%,验证了该模型的有效性。