基于贝叶斯图注意力Transformer的航空发动机剩余使用寿命概率预测

航空发动机作为飞机的心脏,其健康状态对飞机的安全飞行至关重要.深度学习强大的数据挖掘能力,为通过海量历史数据预测航空发动机的剩余使用寿命提供了新方法.然而,传统基于深度学习的方法大都关注于挖掘数据在时间上的关联,而忽略了多个传感器监测数据之间复杂的非欧氏空间关系.此外,少有研究考虑数据或者预测过程本身具有的不确定性,缺乏对预测结果可靠性的评估.为解决上述问题,本文提出了一种基于贝叶斯网络和图注意力Transformer的航空发动机剩余使用寿命概率预测方法.将图注意力机制融入Transformer的时间多头注意力模块,结合图注意力网络在空间特征提取上的优势和Transformer模型在时间特征提取的优势,实现数据特征时空关系的联合提取.同时,利用改进的贝叶斯网络度量预测不确定性,在得到剩余使用寿命预测点值的同时给出相应的置信区间.最后,通过在公开航空发动机数据集上的实验,证明了所提模型的有效性和先进性.

融合快速边缘注意力的Transformer跟踪算法

针对长期目标跟踪中出现模型退化和跟踪漂移的问题,提出了一种融合快速边缘注意力的Transformer跟踪算法TransFEA(fast edge attention on Transformer)。使用ResNet-50作为Siamese网络的骨干网络,并在其每个残差块后端引入注意力网络进行特征提取,增强目标的关键信息和全局信息;边缘注意力网络(edge attention network,EA)提取模板与搜索区域的特征向量,快速注意力网络(fast attention network,FA)计算注意响应值,确定两个区域的相似度,以此调整目标位置。设计多层感知器预测边界框,避免过多超参数,使跟踪器实现了准确性与轻量化的平衡。实验结果表明,TransFEA在LaSOT数据集上成功率和准确率分别为65.3%、69.1%,运行可以达到90 FPS,提高了长期跟踪的成功率和准确率。

融合Transformer和注意力的轻量高效人体姿态估计

针对人体姿态估计算法的沉重计算成本和庞大网络规模问题,提出面向人体姿态估计的轻量级高效视觉变换器(lightweight efficient vision transformer for human posture estimation,LEViTPose)。引入深度可分离卷积、通道混洗和多尺度卷积核并行技术来设计轻量级预处理模块LStem;提出一种级联组空间线性退化注意力(cascaded group spatial linear reduction attention,CGSLRA),采用特征分组划分多个注意头的方式来提升内存存储效率,采用组内特征降维来降低计算冗余;通过引入逐点卷积和分组反卷积来设计轻量级特征还原模块(lightweight feature recovery module,LFRM)。实验结果表明,所提方法相比基线模型,可以在提升网络性能和推理速度的同时降低网络规模和计算开销。在MPII和COCO验证集上与LiteHRNet-30相比,平均准确率分别提高了2.6和3.4个百分点,推理速度提升了1倍。

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。

空间可分离注意力的跨尺度编码Transformer遥感图像道路提取方法

遥感图像的道路分割任务是遥感应用领域的一个研究热点,一直受到广泛的关注。由于遥感图像天然具备背景复杂、目标密集等特性,全局语义信息的构建对于准确提取遥感图像中道路是至关重要的。因此,基于Transformer模型进行优化,提出了基于空间可分离注意力的跨尺度令牌嵌入Transformer遥感道路提取模型Cross-RoadFormer。具体而言,针对图像中道路尺度不统一的问题,设计了跨尺度编码层,将不同尺度的特征编码作为一个令牌嵌入整体,作为Transformer的输入,解决了Transformer跨尺度交互的问题;此外,提出了一种空间可分离注意力,其中,局部分组注意力获取细粒度、短距离信息,全局采样注意力捕获长距离、全局上下文信息,在保证道路提取准确度的前提下,降低了模型的计算量。在Massachusetts数据集和DeepGlobe数据集上的实验表明,提出的Cross-RoadFormer都实现了更高的IoU(intersection over union),分别为68.40%和58.04%,展现了该方法的优越性。

Transformer-CNN特征跨注意力融合学习的行人重识别

卷积神经网络(convolutional neural network,CNN)关注局部特征,难以获得全局结构信息,Transformer网络建模长距离的特征依赖,但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法,利用CNN和Transformer特征学习网络的特点,在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成:CNN分支主要提取局部细节信息;Transformer分支侧重于关注全局特征信息;跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性,进而实现特征融合,最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。

结合极化自注意力和Transformer的结直肠息肉分割方法

针对传统结直肠息肉图像分割方法存在的目标分割不够精确、对比度不足,以及边缘细节模糊等问题,文中结合极化自注意力和Transformer提出了一种新的结直肠息肉图像分割方法。首先,设计了一种改进的相位感知混合模块,通过动态捕捉Transformer结直肠息肉图像的多尺度上下文信息,以使目标分割更加精确。其次,在新方法中引入了极化自注意力机制,实现了图像的自我注意力强化,使得到的图像特征可以直接用于息肉分割任务中,以达到提高病灶区域与正常组织区域对比度的目的。另外,利用线索交叉融合模块加强动态分割时对图像几何结构的捕捉能力,以达到提升结果图像边缘细节的目的。实验结果表明,文中提出的方法不仅能够有效地提升结直肠息肉分割的精确度和对比度,并且还能够较好地克服分割图像细节模糊的问题。在数据集CVC-ClinicDB、Kvasir、CVC-ColonDB和ETIS-LaribPolypDB上的测试结果表明,文中所提新方法能够取得更好的分割效果,其Dice相似性指数分别为0.946、0.927、0.805和0.781。

基于窗口注意力聚合Swin Transformer的无人机影像语义分割方法

采用无人机遥感影像进行地物分类的过程中,由于无人机影像的小尺寸地物目标不够突出和无人机影像背景复杂、地物信息难以辨别等问题,采用现行的经典语义分割方法难以获得理想的地物分类效果。该研究以Swin Transformer网络模型为基础,提出了基于窗口注意力聚合Swin Transformer(window attention aggregation Swin Transformer,WAA SwinT)的语义分割网络模型方法。采用了多窗口注意力聚合的方式来进行更精准的注意力计算,以提升无人机遥感影像中的小尺寸地物目标的分类精度和质量。同时借鉴嵌入连接的思想,采用多级特征嵌入连接解码器改善网络结构,应用于无人机遥感影像的分割中,取得了更精细化的分割效果。为了验证提出的方法在无人机影像语义分割中的效果,分别在城市无人机遥感影像UAVid数据集和UDD数据集进行了实验,并与现行的经典语义分割方法进行了对比。实验结果表明,语义分割方法在UAVid数据集和UDD数据集上均可以得到最佳的语义分割效果。同时,该语义分割方法能显著地提升无人机影像中小尺寸地物精准分割的质量。

结合沙漏注意力与渐进式混合Transformer的图像分类方法

Transformer在图像分类任务中具有广泛应用,但在小数据集分类任务中,Transformer受到数据量较少、模型参数量过大等因素的影响,导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先,通过下-上采样的沙漏自注意力建模全局特征关系,利用上采样补充下采样操作丢失的信息,同时采用可学习温度参数和负对角掩码锐化注意力的分数分布,避免因层数过多产生过度平滑的现象;其次,设计渐进式下采样模块获得细粒度多尺度特征图,有效捕获低维特征信息;最后,使用混合架构,在顶层阶段使用设计的沙漏注意力,底层阶段使用池化层替代注意力模块,并引入带有深度卷积的层归一化,增加网络局部性。所提方法在T-ImageNet、CIFAR10、CIFAR100、SVHN数据集上进行实验,分类精度可以达到97.42%,计算量和参数量分别为3.41G和25M。实验结果表明,与对比算法相比,该方法的分类精度有明显提升,计算量和参数量有明显降低,提高了Transformer模型在小数据集上的性能表现。

融合Transformer和交互注意力网络的方面级情感分类模型

现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而,循环神经网络不能并行计算,并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题,传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题,该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量,然后使用Transformer编码器对输入的句子进行并行编码,接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明,该文所提模型在准确率和F1上均表现最优。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明,MSTTF模型与传统时空Transformer相比,MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型,MAE平均降低了1.24%,能取得更好的预测效果.

基于差异增强和双注意力Transformer的遥感图像变化检测

由于遥感场景中物体的复杂性,光照变化和配准误差都会影响不同时间拍摄的2个图像中目标的变化,探索不同像素之间的关系和更强大识别能力的卷积神经网络可以提高双时相遥感图像变化检测的性能。提出一个基于差异增强的和双注意力机制的Transformer神经网络模型,在孪生网络架构中的特征提取部分引入ResNeXt单元,在不增加参数复杂度的前提下提高准确率;将分层结构的Transformer编码-解码器与通道和空间双注意力模块相结合,获得更大的感受野和更强的上下文塑造能力;该网络还关注双时相图像的差异化特征,通过引入差异增强模块对每个像素进行加权,选择性地对特征进行聚合,最终生成具有高精度的遥感图像变化特征图。通过在变化检测基准数据集LEVIR-CD和DSIFN上进行实验,所提方法对不同建筑物、道路和植被变化情况的检测效果有很大提升,与现有检测模型相比,该方法在F1、IoU和OA这3个评价指标上均好于最好结果。

嵌入混合注意力机制的Swin Transformer人脸表情识别

人脸表情识别是心理学领域的一个重要研究方向,可应用于交通、医疗、安全和刑事调查等领域。针对卷积神经网络(CNN)在提取人脸表情全局特征的局限性,提出了一种嵌入混合注意力机制的Swin Transformer人脸表情识别方法,以Swin Transformer为主干网络,在模型Stage3的融合层(Patch Merging)中嵌入了混合注意力模块,该方法能够有效提取人脸面部表情的全局特征和局部特征。首先,层次化的Swin Transformer模型可有效获取深层全局特征信息。其次,嵌入的混合注意力模块结合了通道和空间注意力机制,在通道维度和空间维度上进行特征提取,从而让模型能够更好地提取局部位置的特征信息。同时,采用迁移学习方法对模型网络权重进行初始化,进而提高模型的精度和泛化能力。所提方法在FER2013、RAF-DB和JAFFE这3个公共数据集上分别达到了73.63%、87.01%和98.28%的识别准确率,取得了较好的识别效果。

小波分频自注意力Transformer图像去雨网络

针对视觉Transformer对高频信息捕捉能力弱以及目前许多图像去雨方法易丢失细节的问题,提出小波分频自注意力Transformer图像去雨网络(WFDST-Net)。小波分频自注意力Transformer(WFDST)作为WFDST-Net的主要模块,其利用不可分提升小波变换获取特征图的低频分量和高频分量,分别在低频和高频中进行自注意力交互,使模块从低频中学习恢复全局结构的能力,在高频中强化捕捉雨纹等线条细节的能力,增强对不同频域特征的建模能力。WFDST-Net采用U形架构并通过不可分提升小波变换获取多尺度特征,可在捕获不同形状高频雨纹的同时保证信息的完整性。相比其他图像去雨相关的Transformer,WFDST-Net具有更低的参数量。此外,提出VOCRain250数据集用于联合图像去雨和语义分割任务,该数据集比目前广泛使用的BDD150更具优势。实验表明,所提方法增强了视觉Transformer对不同频域信息的捕获能力,并在合成和真实数据集以及VOCRain250中的表现优于目前先进的去雨方法,能有效去除复杂雨纹并保留更多细节特征。

基于图注意力Transformer神经网络的信用卡欺诈检测模型

针对现有模型无法精准识别复杂多变的团伙诈骗模式的问题,提出一种新型实用的基于复杂交易图谱的信用卡反欺诈检测模型。首先,利用用户原始的交易信息构造关联交易图谱;随后,使用图自注意力Transformer神经网络模块直接从交易网络中挖掘团伙欺诈特征,无需构建繁冗的特征工程;最后,通过欺诈预测网络联合优化图谱中的拓扑模式和时序交易模式,实现对欺诈交易的高精度检测。在信用卡交易数据上的反欺诈实验结果表明,所提模型在全部评价指标上均优于7个对比的基线模型:在交易欺诈检测任务中,平均精度(AP)比基准图注意力神经网络(GAT)提升了20%,ROC曲线下方面积(AUC)平均提升了2.7%,验证了所提模型在信用卡欺诈交易检测中的有效性。

特征细化和多尺度注意力的Transformer图像去噪网络

为增强全局上下文信息的关联性,加强对多尺度特征的关注,在提升图像去噪效果的同时最大程度保留细节特征,提出一种基于Transformer的特征细化和多尺度注意力的图像去噪网络(TFRADNet)。该网络不仅在编解码器部分利用Transformer解决大规模图像的长程依赖问题,提高模型的去噪效率,还在上采样操作后加入位置感知层来增强网络对特征图中像素位置的感知能力。为了应对Transformer可能对像素间空间关系的忽略,导致局部细节失真,在特征重建阶段设计了特征细化模块(FRB),采用串行结构逐层引入非线性变换,加强对噪声水平复杂的图像局部特征的识别。同时,设计了多尺度注意力模块(MAB),采用并行双分支结构,对空间注意力和通道注意力联合建模,有效捕捉不同尺度的图像特征并进行加权,提高模型对多尺度特征的感知能力。在真实噪声数据集SIDD、DND和RNI15上的实验结果显示,TFRADNet能够兼顾全局信息和局部细节,相比其他先进方法展现出了更强的抑噪能力和稳健性。

基于Swin Transformer和卷积注意力的乳腺癌病理图像诊断研究

为了降低由于医生阅片疲劳或经验不足而可能导致的漏诊或误诊问题,提高医生诊断乳腺癌病理图像的准确性和工作效率,文中采用北京大学国际医院提供的公开的最大乳腺癌病理组织图像数据集,包括正常、良性病变、原位癌和浸润癌四种类型,并提出了一种基于Swin Transformer和卷积注意力机制的乳腺癌病理图像诊断方法,给出了诊断算法的框架和处理流程,在评价指标方面取得了96.93%的精确率、97.82%的召回率和97.74%的准确率,与常用的卷积神经网络ResNet152、VGG16相比,精确率和准确率都是最高的,从而证明提出的方法是有效的。最后,基于Flask技术和Swin Transformer开发了可视化的乳腺癌病理图像诊断软件,只需提供一张患者的乳腺癌病理组织图像,10 s左右即可自动输出诊断结果,可以极大地提高医生的工作效率。

基于全局自适应宽度注意力改进的Transformer

Transformer在自然语言处理中运用广泛,但存在文本长度过长带来的输入信息被切割、显存占用太大的问题,已有的解决方法是让模型动态决定每层注意力宽度,可以在控制计算量和显存开销的前提下关联最优序列长度,但存在每层最优的注意力宽度并不能达到模型最优注意力宽度的缺点。为此,提出一种全层自适应宽度注意力模型(GAA)。让每层的注意力范围和全局关联,实现模型全局注意力范围最优,还将模型的前馈层修改为带门控单元的前馈层(FFN_(GLU))。在数据集enwiki8和text-8上的验证表明,该方法仅使用25%的训练计算成本,即可达到比基线更好的性能。

基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络

视网膜血管的形态学变化对早期眼科疾病的诊断具有重要意义,除眼科疾病外,糖尿病、心血管疾病等同样可以通过视网膜血管的形态判别疾病进展。然而,视网膜血管本身具有复杂的组织结构,且易受到光线等因素的影响,对其准确分割并不容易。针对上述问题,提出了一种视网膜血管分割网络。该网络中首先设计了粗糙注意力融合模块(rough attention fusion module,RAFM),该模块基于粗糙集上下近似理论,利用全局最大池化与全局平均池化对注意力系数进行上下限描述,并串行融合通道注意力机制与空间注意力机制;然后,将粗糙注意力融合模块融入Group Transformer U network(GT U-Net),构建一种基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络;最后,基于公开DRIVE彩色眼底图像数据集进行对比实验,该网络结构在测试集上的准确率、F_(1)分数、AUC值分别达到了0.9631、0.8488和0.9812,与GT U-Net模型相比,F_(1)分数、AUC值分别提升了0.35%、0.21%;与其他当前主流的视网膜血管分割网络进行对比,具有一定优势。