基于Swin⁃Transformer的磁瓦缺陷检测

针对磁瓦缺陷提取难,且基于传统卷积神经网络的磁瓦缺陷检测算法对于全局特征表述差、上下文交互不充分等缺点,提出一种基于Swin⁃Transformer的磁瓦检测算法,其通过在Swin⁃Transformer的基础中结合YOLOv3模型的neck模块构建出磁瓦缺陷检测算法,并且为了使网络能够获取更加丰富的梯度组合,在neck部分优化设计了CSPA模块。同时为了使网络学习更多有用的特征,通过锐化和同态滤波对收集到的磁瓦图像进行增强。实验结果表明,改进算法对磁瓦缺陷检测的mAP为87.1%,相对于YOLOv3和YOLOv5,分别提高了5.3和1.5个百分点。

基于Swin Transformer的沥青路面病害分类检测研究

针对传统卷积神经网络模型在沥青路面病害检测中识别长距离裂缝结构能力不足以及面临的精度局限问题,引入Swin Transformer模型进行沥青路面病害分类研究;首先对于路面检测车采集到的沥青路面扫描图像对比度低的问题,使用直方图均衡技术处理图像,增加图像可视化效果;其次,选取3种经典卷积神经网络模型作为对比模型,并在训练过程中采用更换损失函数,调整预训练模型等手段解决过拟合问题;并选用准确率、查全率、F1-score作为评价指标;在最终实验结果中Swin Transformer识别准确率达到了80.6%,F1-score达到了0.776,不仅在整体分类准确率上超越了传统CNN模型,并且对具有长距离特征结构的病害方面具有更高的识别准确率,同时具有良好的可靠性。

基于MTF-Swin Transformer的风机齿轮箱故障诊断

针对风机齿轮箱实际工况复杂多变及含有强噪声,传统故障诊断方法对风机齿轮箱故障诊断识别准确率较低的问题,文章提出了MTF-Swin Transformer风机齿轮箱故障诊断模型。首先,采用马尔科夫变迁场(MTF)图形编码方法将原始一维振动时序信号转化为具有关联时间信息的二维特征图谱;然后,将特征图谱作为Swin Transformer模型的输入,基于自注意力机制进行自动特征提取;最后,实现对不同故障类型的分类。仿真结果表明,该方法对齿轮箱故障诊断准确率达到了99.48%,证明了该方法的有效性和优越性。

基于Swin Transformer与GRU的低温贮藏番茄成熟度识别与时序预测研究

面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型,首先通过融合番茄两侧图像获取番茄表观全局红色总占比,构建不同成熟番茄图像数据集,并基于迁移学习优化Swin Transformer模型初始权重配置,实现番茄成熟度分类识别;其次,周期性采集不同储藏温度(4、9、14℃)下番茄图像数据,结合番茄初始颜色特征与贮藏环境信息,构建基于Swin Transformer与GRU的番茄成熟度时序预测模型,并融合时间注意力模块优化模型预测精度;最后,对比分析不同模型预测结果,验证本研究所提模型的准确性与优越性。结果表明,番茄成熟度正确识别率为95.783%,相比VGG16、AlexNet、ResNet50模型,模型正确识别率分别提升2.83%、3.35%、12.34%。番茄成熟度时序预测均方误差(MSE)为0.225,相比原始GRU、LSTM、BiGRU模型MSE最高降低29.46%。本研究为兼顾番茄成熟度实现贮藏温度柔性适时调控提供了关键理论基础。

基于窗口注意力聚合Swin Transformer的无人机影像语义分割方法

采用无人机遥感影像进行地物分类的过程中,由于无人机影像的小尺寸地物目标不够突出和无人机影像背景复杂、地物信息难以辨别等问题,采用现行的经典语义分割方法难以获得理想的地物分类效果。该研究以Swin Transformer网络模型为基础,提出了基于窗口注意力聚合Swin Transformer(window attention aggregation Swin Transformer,WAA SwinT)的语义分割网络模型方法。采用了多窗口注意力聚合的方式来进行更精准的注意力计算,以提升无人机遥感影像中的小尺寸地物目标的分类精度和质量。同时借鉴嵌入连接的思想,采用多级特征嵌入连接解码器改善网络结构,应用于无人机遥感影像的分割中,取得了更精细化的分割效果。为了验证提出的方法在无人机影像语义分割中的效果,分别在城市无人机遥感影像UAVid数据集和UDD数据集进行了实验,并与现行的经典语义分割方法进行了对比。实验结果表明,语义分割方法在UAVid数据集和UDD数据集上均可以得到最佳的语义分割效果。同时,该语义分割方法能显著地提升无人机影像中小尺寸地物精准分割的质量。

基于Swin Transformer和CNN的汉字书法教学系统

针对日益增长的汉字书法学习需求,将滑动窗口自注意力(Swin Transformer,ST)模型和卷积神经网络(Convolutional Neural Network,CNN)模型相结合,提出手写体汉字识别ST-CNN模型,进而开发了汉字书法教学系统。实测结果表明,ST-CNN模型识别准确率约为91.6%,较传统的ST模型提升了约0.5个百分点,较传统的CNN模型与ST模型,在收敛速度上分别提升了约10和30个百分点,开发的汉字书法教学系统性能良好。

基于Swin Transformer的遥感图像超分辨率重建

由于遥感图像中的物体具有不确定性,同时不同图像之间的特征信息差异较大,导致现有超分辨率方法重建效果差,因此本文提出一种结合Swin Transformer和N-gram模型的NG-MAT模型来实现遥感图像超分辨率.首先,在原始Transformer计算自注意力的分支上并联多注意力模块,用于提取全局特征信息来激活更多像素.其次,将自然语言处理领域的N-gram模型应用到图像处理领域,用三元N-gram模型来加强窗口之间的信息交互.本文提出的方法在所选取的数据集上,峰值信噪比在放大因子为2、3、4时达到了34.68 dB、31.03 dB、28.99 dB,结构相似度在放大因子为2、3、4时达到了0.9266、0.8444、0.7734,实验结果表明,本文提出的方法各个指标都优于其他同类方法.

基于增强Swin Transformer的深度伪造人脸检测

针对传统卷积神经网络感受野的大小受限和特征交互学习能力弱,基于卷积神经网络的伪造人脸检测技术提取到的特征相对单一的问题,提出了基于增强Swin Transformer的深度伪造人脸检测方法,引入了局部多头自注意力和全局多头自注意力机制,结合了Swin Transformer的优势,能够有效地捕获图像上下文信息和视频时序关系,具有较强的全局感受野和长距离依赖建模能力。在DFDC数据集的实验结果表明,该方法优于基线方法,具有较好的深度伪造人脸检测能力。

基于Swin-Transformer的黑色素瘤图像病灶分割研究

黑色素瘤图像病灶分割的主流模型大多基于卷积神经网络(CNN)或Vision Transformer(ViT)网络,但是CNN模型受限于感受野大小,无法获取全局上下文信息,而ViT模型只能提取固定分辨率的特征,无法提取不同粒度的特征。为解决该问题,建立一种基于Swin-Transformer的融合双分支的混合模型SwinTransFuse。在编码阶段,首先利用Noise Reduction图像降噪模块去除图像中的毛发等噪声,然后采用CNN和Swin-Transformer构成的双分支特征提取模块来提取图像的局部细粒度信息和全局上下文信息,并对来自Swin-Transformer分支的全局上下文信息使用SE模块进行通道注意力操作以增强全局特征的提取,对来自CNN分支的局部细粒度信息使用卷积块注意力机制模块(CBAM)进行空间注意力操作以增强局部细粒度特征的提取,接下来利用Hadamard积运算对两个分支输出的特征进行特征交互以实现特征的融合,最后将SE模块输出的特征、CBAM模块输出的特征和特征融合后的特征进行拼接以实现多层次特征融合,并通过一个残差块输出交互后的特征。在解码阶段,将特征输入到上采样模块得到图像最终的分割结果。实验结果表明,该模型在ISIC2017和ISIC2018皮肤病数据集上的平均交并比分别为78.72%和78.56%,优于同类型的其他医学分割模型,具有更高的实用价值。

基于感知增强Swin Transformer的遥感图像检测

随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本不平衡、目标尺度小等问题,提出一种基于感知增强Swin Transformer的遥感图像检测网络,以提升遥感图像检测性能。在主干网络设计过程中,利用Swin Transformer分层设计和移动窗口的优点有效减小计算复杂度,同时插入空间局部感知块,加强网络对局部相关性和结构信息的提取能力。设计区域分布回归损失为小目标分配更大的权重,解决了正负样本不平衡的问题,同时结合改进的IoU-aware分类损失消除不同分支之间的差距,降低分类和回归损失。在公共遥感数据集DOTA上的多组实验结果表明,该网络获得了78.47%的平均精度均值和10.8帧/s的检测速度,检测性能优于经典的目标检测网络Faster R-CNN、Mask R-CNN以及现有优秀的遥感图像检测网络,并且在各类不同尺度的目标上均具有较好的性能表现。

基于Swin Transformer目标全景分割的三峡库首土质滑坡识别

【目的】滑坡识别是解决山区地质灾害隐患在哪里的关键。尤其人工智能是深度学习方法开始被广泛应用于目标识别领域,但对于多植被山区复杂环境下的滑坡隐患识别,存在着模型单一、精度较差等问题。【方法】故文章提出一种基于Swin Transformer(Shift Windows Transformer)作为骨干网络结合目标全景分割的智能识别方法,对三峡库首区域土质滑坡开展识别。将三峡库首的485处土质滑坡制作成样本集,并分为训练集和测试集。将训练集加载进Swin Transformer模型中进行训练,模型采用自注意力机制对训练集提取特征,构建特征图,测试集验证特征图的识别精度,保留识别精度最高的特征图。最终以此实现滑坡目标与背景区域的有效区分进而完成隐患识别,同时与DeepLab V3模型进行对比。【结果】结果显示:Swin Transformer模型在识别精度和识别速度上都要高于DeepLab V3模型,在三峡库首的试验中准确率可以达到83.55%,单张图片预测时间为0.18 s。【结论】结果表明:该方法能够在多植被山区复杂环境下快速识别土质滑坡,可为多植被山区的滑坡灾害调查提供参考。

基于改进YOLOv5s的CNN-Swin Transformer森林野生动物图像目标检测算法

【目的】为提高野生动物在复杂森林环境中的检测精度,促进森林野生动物保护技术发展,提出一种基于YOLOv5s网络模型、针对陷阱相机所摄取森林野生动物图像的改进检测算法。【方法】以包含湖南壶瓶山国家级自然保护区几种典型森林野生动物在内的数据集为研究对象,首先,对真实标注框图像进行裁剪、归一化和缩放处理,随机将2~4张裁剪图像拼贴组成新的数据集元素,以丰富和增强数据集图像信息;其次,使用一种基于通道注意力思想的加权通道拼接方法,在通道拼接时引入权重改变通道数量,通过反向传播训练方法不断更新权重以增加重要特征信息的通道层数;接着,引入Swin Transformer模块与CNN网络相结合,为卷积神经网络特征提取加入自注意力机制,融合2种网络特征提取层的优势,提高特征提取的感受野;最后,选择更优的α-DIoU损失函数替代GIoU损失函数,针对边界框重叠面积和中心点距离造成的损失,引入新的几何因素惩罚项。【结果】在相同试验条件和数据集下,相比原YOLOv5s网络模型,改进算法极大提高检测的平均准确率和平均回归率,均值平均精度由74.1%提升至88.4%,获得14.3%的精度提升,同时也超过YOLOv3、YOLOXs、RetinaNet、Faster R-CNN等其他流行目标检测算法。【结论】针对陷阱相机所摄取森林野生动物图像背景与目标对比度低、遮挡重叠严重,致使检测误检率、漏检率高等问题,在检测算法中提出一系列改进措施,为我国森林野生动物的保护和数据获取提供一种新的可行性方案和思路。

融合路径聚合网络的Swin Transformer的故障诊断方法研究

针对Transformer在航空发动机故障诊断中存在空间信息特征建模能力不足、计算复杂度较高的问题,提出一种基于路径聚合网络的Swin Transformer的故障诊断方法。该方法将路径聚合网络嵌入到Swin Transformer网络中,提高模型多尺度融合特征金字塔顶层信息和底层信息的效率,并采用窗口多头自注意力模块和移动窗口多头自注意力模块,有效降低提取空间信息特征的计算复杂度,并促进信息的流动和特征的传递。最后,将提出的方法应用到航空发动机滚动轴承故障诊断中。试验结果表明,提出的方法明显优于Transformer和传统Swin Transformer方法,在保证识别精度的同时,提高了模型的识别速度。

基于CNN-Swin Transformer Network的LPI雷达信号识别

针对在低信噪比(SNR)条件下,低截获概率雷达信号调制方式识别准确率低的问题,提出一种基于Transformer和卷积神经网络(CNN)的雷达信号识别方法。首先,引入Swin Transformer模型并在模型前端设计CNN特征提取层构建了CNN+Swin Transformer网络(CSTN),然后利用时频分析获取雷达信号的时频特征,对图像进行预处理后输入CSTN模型进行训练,由网络的底部到顶部不断提取图像更丰富的语义信息,最后通过Softmax分类器对六类不同调制方式信号进行分类识别。仿真实验表明:在SNR为-18 dB时,该方法对六类典型雷达信号的平均识别率达到了94.26%,证明了所提方法的可行性。

基于Swin Transformer生成对抗网络的图像生成算法

针对图像生成算法中生成对抗网络训练效率低且不稳定的问题,本文提出了一种改进生成对抗网络的图像生成算法(STGAN),该算法首先在判别器中引入Swin Transformer机制,来增强网络的判别能力;其次改进了生成器,使用自注意力代替卷积神经并且加入谱范数规范化,来达到平衡生成器和判别器的效果;最后使用Wasserstein距离作为损失函数,以提高网络的训练稳定性.实验数据表明,在CelebA和LSUN两种不同数据集上STGAN比自注意力生成对抗网络所生成图像的FID值分别降低了2.5266和5.4476,IS值分别提高了0.0941和0.0343.从实验结果可以看出,STGAN模型生成的图片具有非常高的自然度和逼真度,有效地提升了生成图像的质量和真实性.

基于改进Swin Transformer的中心点目标检测算法

针对Swin Transformer在提取局部特征信息和特征表达能力上存在的不足,提出了一种基于改进Swin Transformer的中心点目标检测算法,以提高其在目标检测方面的性能。通过调整网络结构和引入反卷积模块来增强网络对局部特征信息的提取能力,利用自适应二维高斯核和回归头模块检测目标中心点来增强特征表达能力,并在Swin Transformer block模块中加入dropout激活函数,以缓解网络过拟合问题。在Pascal VOC和MS COCO 2017数据集上分别对改进后的算法进行验证,实验结果表明,改进后的Swin Transformer算法在Pascal VOC数据集上的精确度达到了81.1%,在MS COCO数据集上的精确度达到了37.2%,明显优于其他主流目标检测算法。

基于CWT和优化Swin Transformer的风电齿轮箱故障诊断方法

针对传统故障诊断方法在风电齿轮箱运行故障诊断应用上的不足,提出一种基于小波变换(continuous wavelet transform, CWT)和优化Swin Transformer的风电齿轮箱故障诊断方法。该方法利用小波变换将风电齿轮箱振动信号转换为时频图;使用SuperMix数据增强算法对样本进行扩充;利用迁移学习技术将模型预训练参数用于训练和优化Swin Transformer模型;将训练完成的优化Swin Transformer模型应用于风场实际运维数据进行对比验证,分类准确率达到99.67%。验证结果表明该方法能够有效地实现风电齿轮箱故障诊断,并提高模型的识别准确率。

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.

基于Swin Transformer的双流遥感图像时空融合超分辨率重建

遥感图像时空融合超分辨重建从高时序密度的低分辨率图像和低时序密度的高分辨率图像中提取信息,生成同时具有高时序密度的高分辨率遥感图像,它直接关系到后续的解译、检测、跟踪等任务的实施。随着卷积神经网络(CNN)的快速发展,研究者们提出了一系列基于CNN的时空融合方法,然而由于卷积的局限性,这些方法在全局信息提取方面仍然存在不足。受Swin Transformer全局能力的启发,提出一种基于Swin Transformer的超分辨重建模型。在特征提取阶段,引入双流结构,将特征提取网络分为两个部分,分别提取时间信息与空间信息,并通过Swin Transformer的全局能力提升模型性能。在特征融合阶段,引入结合通道注意力与空间注意力的卷积块注意力模块(CBAM),用于增强重要特征,提升图像重建精度。在Coleambally灌溉区(CIA)与Gwydir下游流域(LGC)数据集上将该模型与多种时空融合超分辨率重建模型进行对比实验,结果表明该模型在各项评价指标上均取得了最优的结果,具有更出色的性能和更强的泛化能力。

基于Swin Transformer和卷积注意力的乳腺癌病理图像诊断研究

为了降低由于医生阅片疲劳或经验不足而可能导致的漏诊或误诊问题,提高医生诊断乳腺癌病理图像的准确性和工作效率,文中采用北京大学国际医院提供的公开的最大乳腺癌病理组织图像数据集,包括正常、良性病变、原位癌和浸润癌四种类型,并提出了一种基于Swin Transformer和卷积注意力机制的乳腺癌病理图像诊断方法,给出了诊断算法的框架和处理流程,在评价指标方面取得了96.93%的精确率、97.82%的召回率和97.74%的准确率,与常用的卷积神经网络ResNet152、VGG16相比,精确率和准确率都是最高的,从而证明提出的方法是有效的。最后,基于Flask技术和Swin Transformer开发了可视化的乳腺癌病理图像诊断软件,只需提供一张患者的乳腺癌病理组织图像,10 s左右即可自动输出诊断结果,可以极大地提高医生的工作效率。