联合Transformer注意力机制的PM_(2.5)浓度预测网络研究

应用深度学习技术进行PM_(2.5)浓度预测方法的研究,提出联合Transformer注意力机制的循环预测网络。模型的核心是多头注意力-长短期记忆网络(MH-LSTM),通过构建统一记忆单元捕捉时空特征关联。MH-LSTM单元使用LSTM联合Transformer注意力机制对时间变化和全局空间特征统一建模形成记忆信息。记忆信息“之”字流向跨越堆叠的MH-LSTM模块,高层记忆信息辅助下一时刻低层记忆信息的获取。应用该模型结合河北省生态环境监测中心提供的PM_(2.5)浓度数据开展预报试验,结果表明,相对于卷积LSTM网络(ConvLSTM)、预测循环神经网络(PredRNN)、双重记忆网络(MIM),该模型预测的平均绝对误差分别减小了18.13%、10.23%、9.62%,实现了同时捕捉PM_(2.5)浓度的时空相关性,具有更优预测性能。

基于探针稀疏注意力机制的门控Transformer模型

在强化学习中,智能体对状态序列进行编码,根据历史信息指导动作的选择,通常将其建模为递归型神经网络,但其存在梯度消失和梯度爆炸的问题,难以处理长序列。以自注意力机制为核心的Transformer是一种能够有效整合长时间范围内信息的机制,将传统Transformer直接应用于强化学习中存在训练不稳定和计算复杂度高的问题。门控Transformer-XL(GTrXL)解决了Transformer在强化学习中训练不稳定的问题,但仍具有很高的计算复杂度。针对此问题,本研究提出了一种具有探针稀疏注意力机制的门控Transformer(PS-GTr),其在GTrXL中的恒等映射重排和门控机制的基础上引入了探针稀疏注意力机制,降低了时间复杂度和空间复杂度,进一步提高了训练效率。通过实验验证,PS-GTr在强化学习任务中的性能与GTrXL相当,而且训练时间更短,内存占用更少。

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明,MSTTF模型与传统时空Transformer相比,MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型,MAE平均降低了1.24%,能取得更好的预测效果.

基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络

视网膜血管的形态学变化对早期眼科疾病的诊断具有重要意义,除眼科疾病外,糖尿病、心血管疾病等同样可以通过视网膜血管的形态判别疾病进展。然而,视网膜血管本身具有复杂的组织结构,且易受到光线等因素的影响,对其准确分割并不容易。针对上述问题,提出了一种视网膜血管分割网络。该网络中首先设计了粗糙注意力融合模块(rough attention fusion module,RAFM),该模块基于粗糙集上下近似理论,利用全局最大池化与全局平均池化对注意力系数进行上下限描述,并串行融合通道注意力机制与空间注意力机制;然后,将粗糙注意力融合模块融入Group Transformer U network(GT U-Net),构建一种基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络;最后,基于公开DRIVE彩色眼底图像数据集进行对比实验,该网络结构在测试集上的准确率、F_(1)分数、AUC值分别达到了0.9631、0.8488和0.9812,与GT U-Net模型相比,F_(1)分数、AUC值分别提升了0.35%、0.21%;与其他当前主流的视网膜血管分割网络进行对比,具有一定优势。

基于改进注意力机制Transformer网络的快消品销量预测方法

销量预测能为企业生产计划、仓储运输提供决策支持,使企业能更好地适应市场需求。快消品销售量受众多因素的影响,具有季节性和周期性规律,传统的线性模型难以准确的预测,本文从长时序列预测的视角,运用深度学习理论,提出了一种基于订单时序和订单频率的改进自注意力机制模型(Sequence-Frequency Transformer,SFTransformer)。首先,基于快消品订单数据构建原始数据集,采用time2vec编码处理订单时序信息,并融合订单数据的时序和频率特征在基于时序的订单数据的不同订单频率分别对应不同的注意力头来关注订单数据的订单时序特征和频率特征;使用Transformer模型架构提取特征进行长时序列预测。在真实数据集上进行对比实验,SFTransformer模型在均方误差(MSE)、平均绝对误差(MAE)、均方根误差(RMSE)3项指标上均取得了最佳性能,验证了本文所提方法的有效性。

嵌入混合注意力机制的Swin Transformer人脸表情识别

人脸表情识别是心理学领域的一个重要研究方向,可应用于交通、医疗、安全和刑事调查等领域。针对卷积神经网络(CNN)在提取人脸表情全局特征的局限性,提出了一种嵌入混合注意力机制的Swin Transformer人脸表情识别方法,以Swin Transformer为主干网络,在模型Stage3的融合层(Patch Merging)中嵌入了混合注意力模块,该方法能够有效提取人脸面部表情的全局特征和局部特征。首先,层次化的Swin Transformer模型可有效获取深层全局特征信息。其次,嵌入的混合注意力模块结合了通道和空间注意力机制,在通道维度和空间维度上进行特征提取,从而让模型能够更好地提取局部位置的特征信息。同时,采用迁移学习方法对模型网络权重进行初始化,进而提高模型的精度和泛化能力。所提方法在FER2013、RAF-DB和JAFFE这3个公共数据集上分别达到了73.63%、87.01%和98.28%的识别准确率,取得了较好的识别效果。

基于Swin Transformer和注意力机制的红外无人机检测算法

红外无人机目标检测在军民领域的应用前景广阔。由于无人机目标尺度较小,空中环境复杂多变,目前普遍存在检测率低和误报率高的现象。针对复杂场景下红外无人机目标检测不良等问题,本文提出ST-YOLOA目标检测模型。首先,使用Swin Transformer网络架构和协调注意力(CA)机制搭建STCNet骨干特征提取网络;其次,特征融合部分采用带残差结构的PANet路径聚合网络构建特征金字塔提升整体特征提取能力,同时改进了上下采样方式以增强检测能力;最后,使用解耦检测头预测无人机目标的位置。试验结果表明,本文提出的模型检测精度为92.8%,检测速度达到了22帧/s,这表明该模型与其他模型相比具有较好的检测效果,且基本满足实时性检测要求,对于多无人机目标场景下的检测具有现实意义。

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。

基于窗口注意力聚合Swin Transformer的无人机影像语义分割方法

采用无人机遥感影像进行地物分类的过程中,由于无人机影像的小尺寸地物目标不够突出和无人机影像背景复杂、地物信息难以辨别等问题,采用现行的经典语义分割方法难以获得理想的地物分类效果。该研究以Swin Transformer网络模型为基础,提出了基于窗口注意力聚合Swin Transformer(window attention aggregation Swin Transformer,WAA SwinT)的语义分割网络模型方法。采用了多窗口注意力聚合的方式来进行更精准的注意力计算,以提升无人机遥感影像中的小尺寸地物目标的分类精度和质量。同时借鉴嵌入连接的思想,采用多级特征嵌入连接解码器改善网络结构,应用于无人机遥感影像的分割中,取得了更精细化的分割效果。为了验证提出的方法在无人机影像语义分割中的效果,分别在城市无人机遥感影像UAVid数据集和UDD数据集进行了实验,并与现行的经典语义分割方法进行了对比。实验结果表明,语义分割方法在UAVid数据集和UDD数据集上均可以得到最佳的语义分割效果。同时,该语义分割方法能显著地提升无人机影像中小尺寸地物精准分割的质量。

融合Transformer和交互注意力网络的方面级情感分类模型

现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而,循环神经网络不能并行计算,并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题,传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题,该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量,然后使用Transformer编码器对输入的句子进行并行编码,接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明,该文所提模型在准确率和F1上均表现最优。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

基于差异增强和双注意力Transformer的遥感图像变化检测

由于遥感场景中物体的复杂性,光照变化和配准误差都会影响不同时间拍摄的2个图像中目标的变化,探索不同像素之间的关系和更强大识别能力的卷积神经网络可以提高双时相遥感图像变化检测的性能。提出一个基于差异增强的和双注意力机制的Transformer神经网络模型,在孪生网络架构中的特征提取部分引入ResNeXt单元,在不增加参数复杂度的前提下提高准确率;将分层结构的Transformer编码-解码器与通道和空间双注意力模块相结合,获得更大的感受野和更强的上下文塑造能力;该网络还关注双时相图像的差异化特征,通过引入差异增强模块对每个像素进行加权,选择性地对特征进行聚合,最终生成具有高精度的遥感图像变化特征图。通过在变化检测基准数据集LEVIR-CD和DSIFN上进行实验,所提方法对不同建筑物、道路和植被变化情况的检测效果有很大提升,与现有检测模型相比,该方法在F1、IoU和OA这3个评价指标上均好于最好结果。

基于Swin Transformer和卷积注意力的乳腺癌病理图像诊断研究

为了降低由于医生阅片疲劳或经验不足而可能导致的漏诊或误诊问题,提高医生诊断乳腺癌病理图像的准确性和工作效率,文中采用北京大学国际医院提供的公开的最大乳腺癌病理组织图像数据集,包括正常、良性病变、原位癌和浸润癌四种类型,并提出了一种基于Swin Transformer和卷积注意力机制的乳腺癌病理图像诊断方法,给出了诊断算法的框架和处理流程,在评价指标方面取得了96.93%的精确率、97.82%的召回率和97.74%的准确率,与常用的卷积神经网络ResNet152、VGG16相比,精确率和准确率都是最高的,从而证明提出的方法是有效的。最后,基于Flask技术和Swin Transformer开发了可视化的乳腺癌病理图像诊断软件,只需提供一张患者的乳腺癌病理组织图像,10 s左右即可自动输出诊断结果,可以极大地提高医生的工作效率。

特征细化和多尺度注意力的Transformer图像去噪网络

为增强全局上下文信息的关联性,加强对多尺度特征的关注,在提升图像去噪效果的同时最大程度保留细节特征,提出一种基于Transformer的特征细化和多尺度注意力的图像去噪网络(TFRADNet)。该网络不仅在编解码器部分利用Transformer解决大规模图像的长程依赖问题,提高模型的去噪效率,还在上采样操作后加入位置感知层来增强网络对特征图中像素位置的感知能力。为了应对Transformer可能对像素间空间关系的忽略,导致局部细节失真,在特征重建阶段设计了特征细化模块(FRB),采用串行结构逐层引入非线性变换,加强对噪声水平复杂的图像局部特征的识别。同时,设计了多尺度注意力模块(MAB),采用并行双分支结构,对空间注意力和通道注意力联合建模,有效捕捉不同尺度的图像特征并进行加权,提高模型对多尺度特征的感知能力。在真实噪声数据集SIDD、DND和RNI15上的实验结果显示,TFRADNet能够兼顾全局信息和局部细节,相比其他先进方法展现出了更强的抑噪能力和稳健性。

基于全局自适应宽度注意力改进的Transformer

Transformer在自然语言处理中运用广泛,但存在文本长度过长带来的输入信息被切割、显存占用太大的问题,已有的解决方法是让模型动态决定每层注意力宽度,可以在控制计算量和显存开销的前提下关联最优序列长度,但存在每层最优的注意力宽度并不能达到模型最优注意力宽度的缺点。为此,提出一种全层自适应宽度注意力模型(GAA)。让每层的注意力范围和全局关联,实现模型全局注意力范围最优,还将模型的前馈层修改为带门控单元的前馈层(FFN_(GLU))。在数据集enwiki8和text-8上的验证表明,该方法仅使用25%的训练计算成本,即可达到比基线更好的性能。

融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割

设计一种融合改进Transformer和卷积通道注意力模块的U-Net用于MRI图像双心室分割。通过在U-Net的高层卷积部分基础融合改进Transformer,有效增强全局特征信息的提取能力以应对右心室复杂的形态变化造成低分割性能的难题。改进的Transformer在自注意力模块部分中加入固定窗口注意力进行位置定位,随后对其输出特征图进行聚合以缩小特征图尺寸;同时通过改进多层感知器来加深网络深度以提高网络学习能力。为解决组织边缘模糊造成的分割性能不理想问题,引入特征聚合模块进行多层次底层特征的融合,利用卷积通道注意力模块对底层特征进行重标定,实现自适应地学习特征权重。此外,针对编解码结构中通道衰减造成特征丢失导致的低分割性能,网络集成一个即插即用的特征增强模块,保证空间信息同时增加有用通道信息的比重。在ACDC数据集对本文算法进行测试,结果表明本文方法对左右心室的分割精度均优于近年其他算法,尤其是右心室分割结果,相比于其他方法,DSC系数提高至少2.83%,证明本文方法对双心室分割的有效性。

小波分频自注意力Transformer图像去雨网络

针对视觉Transformer对高频信息捕捉能力弱以及目前许多图像去雨方法易丢失细节的问题,提出小波分频自注意力Transformer图像去雨网络(WFDST-Net)。小波分频自注意力Transformer(WFDST)作为WFDST-Net的主要模块,其利用不可分提升小波变换获取特征图的低频分量和高频分量,分别在低频和高频中进行自注意力交互,使模块从低频中学习恢复全局结构的能力,在高频中强化捕捉雨纹等线条细节的能力,增强对不同频域特征的建模能力。WFDST-Net采用U形架构并通过不可分提升小波变换获取多尺度特征,可在捕获不同形状高频雨纹的同时保证信息的完整性。相比其他图像去雨相关的Transformer,WFDST-Net具有更低的参数量。此外,提出VOCRain250数据集用于联合图像去雨和语义分割任务,该数据集比目前广泛使用的BDD150更具优势。实验表明,所提方法增强了视觉Transformer对不同频域信息的捕获能力,并在合成和真实数据集以及VOCRain250中的表现优于目前先进的去雨方法,能有效去除复杂雨纹并保留更多细节特征。

基于两阶段注意力层Transformer的弹道目标多站融合识别

多站弹道目标融合识别旨在利用多个雷达站点信息的互补性提升弹道目标识别性能,而传统多站下弹道目标识别方法未直接考虑多站数据间的关联特性,难以取得准确、稳健的识别性能。针对多站下基于雷达散射截面积(RCS)高速飞行目标的识别问题,提出了一种基于两阶段注意力的弹道目标多站融合识别方法。首先,在现有的Transformer模型上添加维度分段模块将多站雷达数据嵌入于二维向量中,保留站内数据时序及站间关联信息;然后,添加了两阶段注意力层,有效地捕获站内时序信息及跨站维度的依赖关系;最后,基于仿真动态RCS数据模拟多站场景开展了融合识别实验。实验结果表明该方法能够有效提升多站条件下的弹道目标识别性能。

基于Swin Transformer和双层路由注意力的多标签图像分类算法

图像分类是图像处理中一项基础而又重要的工作。单一标签的图像分类已经无法满足人们的需求,研究者们开始关注于多标签图像分类。本文提出了一种Swin Transformer进行特征提取,由双层路由注意力模块进行特征处理的多标签图像分类框架。Swin Transformer通过分层结构提取多尺度信息,在多目标和更细粒度的图像识别方面优于Vision Transformer;双层路由注意力模块能够实现更灵活的计算分配和内容感知,可根据输入图像的特征自适应地调整注意力权重,灵活地控制注意力的强度和范围。模型在COCO数据集上平均精度均值为87.3,在VOC2007数据集上平均精度均值为96.7,一定程度上提高了多标签图像分类的精度。

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.