融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。

基于残差U-Net和自注意力Transformer编码器的磁场预测方法

利用有限元方法对几何结构复杂的电机和变压器进行磁场分析,存在仿真时间长且无法复用的问题。因此,该文提出一种基于残差U-Net和自注意力Transformer编码器的磁场预测方法。首先建立永磁同步电机(PMSM)和非晶合金变压器(AMT)有限元模型,得到深度学习训练所需的数据集;然后将Transformer模块与U-Net模型结合,并引入短残差机制建立ResUnet-Transformer模型,通过预测图像的像素实现磁场预测;最后通过Targeted Dropout算法和动态学习率调整策略对模型进行优化,解决拟合问题并提高预测精度。计算实例证明,ResUnet-Transformer模型在PMSM和AMT数据集上测试集的平均绝对百分比误差(MAPE)均小于1%,且仅需500组样本。该文提出的磁场预测方法能减少实际工况和多工况下精细模拟和拓扑优化的时间和资源消耗,亦是虚拟传感器乃至数字孪生的关键实现方法之一。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明,MSTTF模型与传统时空Transformer相比,MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型,MAE平均降低了1.24%,能取得更好的预测效果.

基于Swin Transformer和卷积注意力的乳腺癌病理图像诊断研究

为了降低由于医生阅片疲劳或经验不足而可能导致的漏诊或误诊问题,提高医生诊断乳腺癌病理图像的准确性和工作效率,文中采用北京大学国际医院提供的公开的最大乳腺癌病理组织图像数据集,包括正常、良性病变、原位癌和浸润癌四种类型,并提出了一种基于Swin Transformer和卷积注意力机制的乳腺癌病理图像诊断方法,给出了诊断算法的框架和处理流程,在评价指标方面取得了96.93%的精确率、97.82%的召回率和97.74%的准确率,与常用的卷积神经网络ResNet152、VGG16相比,精确率和准确率都是最高的,从而证明提出的方法是有效的。最后,基于Flask技术和Swin Transformer开发了可视化的乳腺癌病理图像诊断软件,只需提供一张患者的乳腺癌病理组织图像,10 s左右即可自动输出诊断结果,可以极大地提高医生的工作效率。

基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络

视网膜血管的形态学变化对早期眼科疾病的诊断具有重要意义,除眼科疾病外,糖尿病、心血管疾病等同样可以通过视网膜血管的形态判别疾病进展。然而,视网膜血管本身具有复杂的组织结构,且易受到光线等因素的影响,对其准确分割并不容易。针对上述问题,提出了一种视网膜血管分割网络。该网络中首先设计了粗糙注意力融合模块(rough attention fusion module,RAFM),该模块基于粗糙集上下近似理论,利用全局最大池化与全局平均池化对注意力系数进行上下限描述,并串行融合通道注意力机制与空间注意力机制;然后,将粗糙注意力融合模块融入Group Transformer U network(GT U-Net),构建一种基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络;最后,基于公开DRIVE彩色眼底图像数据集进行对比实验,该网络结构在测试集上的准确率、F_(1)分数、AUC值分别达到了0.9631、0.8488和0.9812,与GT U-Net模型相比,F_(1)分数、AUC值分别提升了0.35%、0.21%;与其他当前主流的视网膜血管分割网络进行对比,具有一定优势。

特征注意力Transformer模块在3D唇语序列身份识别中的应用

唇语行为是一种新兴起的生物特征识别技术,三维(three-dimensional,3D)唇语点云序列因包含真实嘴唇空间结构和运动信息,已成为个体身份识别的重要生物特征。但是,3D点云的无序与非结构化的特点导致时空特征的提取非常困难。为此,提出一种深度学习网络模型,用于3D唇语序列身份识别。该网络采用四层改进的PointNet++作为网络骨干,以分层方式抽取特征,为了学习到更多包含身份信息的时空特征,设计一种动态唇特征注意力Transformer模块,连接于PointNet++网络每一层之后,可以学习到不同特征图之间的相关信息,有效捕捉视频序列不同帧的上下文信息。与其他注意力机制构建的Transformer相比,提出的Transformer模块具有较少的参数,在S3DFM-FP和S3DFM-VP数据集上进行的实验表明,提出网络模型在3D唇语点云序列的身份识别任务中效果显著,即使在不受姿态约束的S3DFM-VP数据集中也表现出良好的性能。

基于差异增强和双注意力Transformer的遥感图像变化检测

由于遥感场景中物体的复杂性,光照变化和配准误差都会影响不同时间拍摄的2个图像中目标的变化,探索不同像素之间的关系和更强大识别能力的卷积神经网络可以提高双时相遥感图像变化检测的性能。提出一个基于差异增强的和双注意力机制的Transformer神经网络模型,在孪生网络架构中的特征提取部分引入ResNeXt单元,在不增加参数复杂度的前提下提高准确率;将分层结构的Transformer编码-解码器与通道和空间双注意力模块相结合,获得更大的感受野和更强的上下文塑造能力;该网络还关注双时相图像的差异化特征,通过引入差异增强模块对每个像素进行加权,选择性地对特征进行聚合,最终生成具有高精度的遥感图像变化特征图。通过在变化检测基准数据集LEVIR-CD和DSIFN上进行实验,所提方法对不同建筑物、道路和植被变化情况的检测效果有很大提升,与现有检测模型相比,该方法在F1、IoU和OA这3个评价指标上均好于最好结果。

基于注意力和Transformer的阿尔兹海默症分类

阿尔兹海默症(Alzheimer s Disease,AD)是一种患病率很高的神经退行性疾病,严重影响老年人生活。磁共振成像(Magnetic Resonance Imaging,MRI)能够无创获取大脑的形态结构揭示脑部的病理改变,是目前AD诊断的主要手段。深度学习在图像处理上具有强大的特征提取和建模能力,使用深度学习方法处理MRI进行AD的自动诊断具有巨大的应用价值。对于三维的脑图像,病变的大小和位置具有随机性和关联性,局部细节特征和全局的长程依赖信息都很重要。针对此类问题,提出了一种基于注意力的结合3D CNN和Transformer的端到端网络用以分类AD病人和正常人。采用3D CNN提取深层语义特征图,经多尺度特征加权的注意力编码后由Transformer全局建模得到分类结果。在AD数据集和公开的3D医学分类数据集上验证,分类指标准确性、敏感性和特异性均有所提升。在AD分类任务上准确性达到95%,模型的注意力图突出了额叶、后扣带皮质等疾病相关区域。结果显示该方法具有较好的分类性能,可以作为一种自动、有效、便捷的AD及其他医学任务辅助诊断方法。

嵌入混合注意力机制的Swin Transformer人脸表情识别

人脸表情识别是心理学领域的一个重要研究方向,可应用于交通、医疗、安全和刑事调查等领域。针对卷积神经网络(CNN)在提取人脸表情全局特征的局限性,提出了一种嵌入混合注意力机制的Swin Transformer人脸表情识别方法,以Swin Transformer为主干网络,在模型Stage3的融合层(Patch Merging)中嵌入了混合注意力模块,该方法能够有效提取人脸面部表情的全局特征和局部特征。首先,层次化的Swin Transformer模型可有效获取深层全局特征信息。其次,嵌入的混合注意力模块结合了通道和空间注意力机制,在通道维度和空间维度上进行特征提取,从而让模型能够更好地提取局部位置的特征信息。同时,采用迁移学习方法对模型网络权重进行初始化,进而提高模型的精度和泛化能力。所提方法在FER2013、RAF-DB和JAFFE这3个公共数据集上分别达到了73.63%、87.01%和98.28%的识别准确率,取得了较好的识别效果。

小波分频自注意力Transformer图像去雨网络

针对视觉Transformer对高频信息捕捉能力弱以及目前许多图像去雨方法易丢失细节的问题,提出小波分频自注意力Transformer图像去雨网络(WFDST-Net)。小波分频自注意力Transformer(WFDST)作为WFDST-Net的主要模块,其利用不可分提升小波变换获取特征图的低频分量和高频分量,分别在低频和高频中进行自注意力交互,使模块从低频中学习恢复全局结构的能力,在高频中强化捕捉雨纹等线条细节的能力,增强对不同频域特征的建模能力。WFDST-Net采用U形架构并通过不可分提升小波变换获取多尺度特征,可在捕获不同形状高频雨纹的同时保证信息的完整性。相比其他图像去雨相关的Transformer,WFDST-Net具有更低的参数量。此外,提出VOCRain250数据集用于联合图像去雨和语义分割任务,该数据集比目前广泛使用的BDD150更具优势。实验表明,所提方法增强了视觉Transformer对不同频域信息的捕获能力,并在合成和真实数据集以及VOCRain250中的表现优于目前先进的去雨方法,能有效去除复杂雨纹并保留更多细节特征。

融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割

设计一种融合改进Transformer和卷积通道注意力模块的U-Net用于MRI图像双心室分割。通过在U-Net的高层卷积部分基础融合改进Transformer,有效增强全局特征信息的提取能力以应对右心室复杂的形态变化造成低分割性能的难题。改进的Transformer在自注意力模块部分中加入固定窗口注意力进行位置定位,随后对其输出特征图进行聚合以缩小特征图尺寸;同时通过改进多层感知器来加深网络深度以提高网络学习能力。为解决组织边缘模糊造成的分割性能不理想问题,引入特征聚合模块进行多层次底层特征的融合,利用卷积通道注意力模块对底层特征进行重标定,实现自适应地学习特征权重。此外,针对编解码结构中通道衰减造成特征丢失导致的低分割性能,网络集成一个即插即用的特征增强模块,保证空间信息同时增加有用通道信息的比重。在ACDC数据集对本文算法进行测试,结果表明本文方法对左右心室的分割精度均优于近年其他算法,尤其是右心室分割结果,相比于其他方法,DSC系数提高至少2.83%,证明本文方法对双心室分割的有效性。

基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。

基于改进注意力机制Transformer网络的快消品销量预测方法

销量预测能为企业生产计划、仓储运输提供决策支持,使企业能更好地适应市场需求。快消品销售量受众多因素的影响,具有季节性和周期性规律,传统的线性模型难以准确的预测,本文从长时序列预测的视角,运用深度学习理论,提出了一种基于订单时序和订单频率的改进自注意力机制模型(Sequence-Frequency Transformer,SFTransformer)。首先,基于快消品订单数据构建原始数据集,采用time2vec编码处理订单时序信息,并融合订单数据的时序和频率特征在基于时序的订单数据的不同订单频率分别对应不同的注意力头来关注订单数据的订单时序特征和频率特征;使用Transformer模型架构提取特征进行长时序列预测。在真实数据集上进行对比实验,SFTransformer模型在均方误差(MSE)、平均绝对误差(MAE)、均方根误差(RMSE)3项指标上均取得了最佳性能,验证了本文所提方法的有效性。

基于Swin Transformer和注意力机制的红外无人机检测算法

红外无人机目标检测在军民领域的应用前景广阔。由于无人机目标尺度较小,空中环境复杂多变,目前普遍存在检测率低和误报率高的现象。针对复杂场景下红外无人机目标检测不良等问题,本文提出ST-YOLOA目标检测模型。首先,使用Swin Transformer网络架构和协调注意力(CA)机制搭建STCNet骨干特征提取网络;其次,特征融合部分采用带残差结构的PANet路径聚合网络构建特征金字塔提升整体特征提取能力,同时改进了上下采样方式以增强检测能力;最后,使用解耦检测头预测无人机目标的位置。试验结果表明,本文提出的模型检测精度为92.8%,检测速度达到了22帧/s,这表明该模型与其他模型相比具有较好的检测效果,且基本满足实时性检测要求,对于多无人机目标场景下的检测具有现实意义。

基于重组性高斯自注意力的视觉Transformer

在目前视觉Transformer的局部自注意力中,现有的策略无法建立所有窗口之间的信息流动,导致上下文语境建模能力不足.针对这个问题,基于混合高斯权重重组(Gaussian weight recombination,GWR)的策略,提出一种新的局部自注意力机制SGW-MSA(Shuffled and Gaussian window-multi-head self-attention),它融合了3种不同的局部自注意力,并通过GWR策略对特征图进行重建,在重建的特征图上提取图像特征,建立了所有窗口的交互以捕获更加丰富的上下文信息.基于SGW-MSA设计了SGWin Transformer整体架构.实验结果表明,该算法在mini-imagenet图像分类数据集上的准确率比Swin Transformer提升了5.1%,在CIFAR10图像分类实验中的准确率比Swin Transformer提升了5.2%,在MS COCO数据集上分别使用Mask R-CNN和Cascade R-CNN目标检测框架的mAP比Swin Transformer分别提升了5.5%和5.1%,相比于其他基于局部自注意力的模型在参数量相似的情况下具有较强的竞争力.

注意力增强的视觉Transformer图像检索算法

基于深度哈希的图像检索方法往往利用卷积和池化技术去提取图像局部信息,并且需要不断加深网络层次来获得全局长依赖关系,这些方法一般具有较高的复杂度和计算量。本文提出了一种注意力增强的视觉Transformer图像检索算法,算法使用预训练的视觉Transformer作为基准模型,提升模型收敛速度,通过对骨干网络的改进和哈希函数的设计,实现了高效的图像检索。一方面,本文设计了一个注意力增强模块,来捕获输入特征图的局部显著信息和视觉细节,学习相应的权重以突出重要特征,并增强输入到Transformer编码器的图像特征的表征力。另一方面,为了提高图像检索的效率,设计了一种对比哈希损失函数,生成具有判别力的二进制哈希码,从而降低了内存需求与计算复杂度。在CIFAR-10和NUS-WIDE数据集上的实验结果表明,本文提出的方法,在两个不同数据集上使用不同哈希码长度的平均精度均值达到了96.8%和86.8%,性能超过多种经典的深度哈希算法和其他两种基于Transformer架构的图像检索算法。

融合Transformer与残差通道注意力的恶劣场景水位智能检测方法

精准感知水位信息变化是实现精细水务管控和洪涝灾害的关键环节之一,而低照度、雾霾、雨雪、冰冻、波浪、镜头抖动等恶劣场景给水位检测带来极大挑战。针对现有方法中难以实现水位精准检测难题,构建一种融合Transformer与残差通道注意力机制的Unet模型(TRCAM-Unet),进而提出基于TRCAM-Unet的恶劣场景水位智能检测方法。关键技术包括通过全尺度连接结构实现多层次特征融合,通过Transformer模块强化区域特征的关联性,通过残差通道注意力模块强化有用信息的表达并削弱无用信息的干扰。相关试验和实践表明,TRCAM-Unet取得了98.84%MIOU评分与99.42%的MPA评分,在约150 m距离外水位检测最大误差不超过0.08 m,水位偏差均值(MLD)仅有1.609×10^(-2)m,优于Deeplab、PSPNet等主流语义分割算法。研究结果对解决恶劣场景下水位精准检测难题及洪涝灾害预警具有重要应用价值。

面向高光谱医学图像分类的空-谱自注意力Transformer

高光谱成像技术的飞速发展给非侵入式医学成像带来新的契机,但高光谱医学图像具有高维度、高冗余以及“图谱合一”的特点,亟需针对上述特点设计智能诊断算法。近年来,Transformer已经在高光谱医学图像处理领域得到广泛应用。然而,不同仪器设备、不同采集操作所获得的高光谱医学图像差异较大,这给现有Transformer诊断模型的实际应用带来了巨大挑战。针对上述问题,本文提出了一种空-谱自注意力Transformer(S3AT),自适应挖掘像素与像素间、波段与波段间的内蕴联系,并在分类阶段融合多个视野下的预测结果。首先,在Transformer编码器中,设计一种空-谱自注意力机制,获取不同视野下高光谱图像上的关键空间信息和重要波段,并将不同视野下所获得的空-谱自注意力进行融合。其次,在模型分类阶段,将不同视野下的预测结果根据可学习权重进行加权融合,对图像进行综合预测。在In-vivo Human Brain和BloodCell HSI两个数据集上,本文算法总体分类精度分别达到82.25%和91.74%。实验结果表明,所提出的算法有效改善高光谱医学图像分类性能。

融合因果注意力Transformer模型的股价预测研究

股票价格预测是金融研究和量化投资共同关注的重点话题,近年来利用深度学习技术揭示股票市场的行情规律成为研究热点。现有股票价格预测深度学习模型多数仅研究时间点数据,这种结构上的缺陷导致其不能反映出特征因子的累积作用对股价的影响。针对此,通过重新设计模型处理时间序列数据,提出一种基于Transformer的股票价格预测模型Stockformer。它通过因果自注意力机制挖掘股票价格与特征因子之间的时序依赖关系,采用趋势增强模块为模型提供序列的趋势特征,同时利用编码器的特定输入为预测提供输入特征的直接先验信息。实验结果表明,Stockformer的预测精度显著优于已有深度学习模型,且相较经典Transformer预测模型的平均绝对误差和均方根误差分别降低了23.2%和25.7%,预测值与真实值更为拟合;通过消融实验分别评估了Stockformer的因果注意力机制、时序特征提取手段以及特定的模型输入的效果及必要性,验证了所提模型的优越性及普适性。