基于Swin Transformer的沥青路面病害分类检测研究

针对传统卷积神经网络模型在沥青路面病害检测中识别长距离裂缝结构能力不足以及面临的精度局限问题,引入Swin Transformer模型进行沥青路面病害分类研究;首先对于路面检测车采集到的沥青路面扫描图像对比度低的问题,使用直方图均衡技术处理图像,增加图像可视化效果;其次,选取3种经典卷积神经网络模型作为对比模型,并在训练过程中采用更换损失函数,调整预训练模型等手段解决过拟合问题;并选用准确率、查全率、F1-score作为评价指标;在最终实验结果中Swin Transformer识别准确率达到了80.6%,F1-score达到了0.776,不仅在整体分类准确率上超越了传统CNN模型,并且对具有长距离特征结构的病害方面具有更高的识别准确率,同时具有良好的可靠性。

基于SwinT-YOLOX模型的自动扶梯行人安全检测算法

自动扶梯被广泛应用在公共场合,乘客摔倒事故如果不能被及时发现并处理,会造成严重的人身伤害,因此实现自动扶梯智能化监控管理势在必行。受自动扶梯运行环境复杂、行人多以及局部遮挡情况的影响,传统的人体姿态特征摔倒检测模型效果不佳且检测速度减慢。融合Swin Transformer和YOLOX目标检测算法的优秀策略,提出一种基于SwinT-YOLOX网络模型的自动扶梯行人摔倒检测算法。采用Swin Transformer模型作为骨干网络,颈部网络使用添加注意力机制的YOLOX模型,进一步提升特征图的多样性和表达能力。此外,利用漏斗修正线性单元视觉激活函数构建CBF模块,改进颈部网络和Head网络结构,从而获得更优的特征检测性能。实验结果表明,针对自建扶梯行人摔倒数据库和网络采集实际扶梯行人摔倒事故,与AlphaPose、OpenPose、YOLOv5等算法相比,该算法检测性能明显提高,行人摔倒平均检测精度可以达到95.92%,检测帧率为24.08帧/s,能够快速、精准地检测到乘客摔倒事故发生,监控管理平台立刻采取安全急停措施以保证乘客安全。

基于MTF-Swin Transformer的风机齿轮箱故障诊断

针对风机齿轮箱实际工况复杂多变及含有强噪声,传统故障诊断方法对风机齿轮箱故障诊断识别准确率较低的问题,文章提出了MTF-Swin Transformer风机齿轮箱故障诊断模型。首先,采用马尔科夫变迁场(MTF)图形编码方法将原始一维振动时序信号转化为具有关联时间信息的二维特征图谱;然后,将特征图谱作为Swin Transformer模型的输入,基于自注意力机制进行自动特征提取;最后,实现对不同故障类型的分类。仿真结果表明,该方法对齿轮箱故障诊断准确率达到了99.48%,证明了该方法的有效性和优越性。

基于Swin-TDL算法的果园环境下葡萄病害检测方法

为在果园复杂环境因素下准确检测葡萄病害,提出一种基于Swin Transformer的葡萄病害检测模型Swin-TDL。采用Kmeans++聚类算法计算模型输入图像的锚框以提高检测精度;以Swin Transformer网络作为Swin-TDL的骨干网络更准确地获取目标特征信息;特征金字塔网络和路径聚合网络用于融合骨干网络中不同深度的特征层信息以增强检测目标的语义信息和定位信息;使用SIoU损失函数作为边界回归预测损失函数用于提高训练的速度和模型推理的准确性;使用Soft-NMS对目标边界框后处理以提高遮挡及重叠目标的检出率。在田间葡萄病害数据集中进行模型训练和性能测试,结果表明,Swin-TDL模型的平均精度均值为92.7%,平均检测时间为15.3 ms,综合性能优于对比检测算法,可以为葡萄植保装备研究提供参考。

基于Swin Transformer与GRU的低温贮藏番茄成熟度识别与时序预测研究

面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型,首先通过融合番茄两侧图像获取番茄表观全局红色总占比,构建不同成熟番茄图像数据集,并基于迁移学习优化Swin Transformer模型初始权重配置,实现番茄成熟度分类识别;其次,周期性采集不同储藏温度(4、9、14℃)下番茄图像数据,结合番茄初始颜色特征与贮藏环境信息,构建基于Swin Transformer与GRU的番茄成熟度时序预测模型,并融合时间注意力模块优化模型预测精度;最后,对比分析不同模型预测结果,验证本研究所提模型的准确性与优越性。结果表明,番茄成熟度正确识别率为95.783%,相比VGG16、AlexNet、ResNet50模型,模型正确识别率分别提升2.83%、3.35%、12.34%。番茄成熟度时序预测均方误差(MSE)为0.225,相比原始GRU、LSTM、BiGRU模型MSE最高降低29.46%。本研究为兼顾番茄成熟度实现贮藏温度柔性适时调控提供了关键理论基础。

基于混合裁剪失衡数据增强与SwinNet网络的滚动轴承故障诊断

针对在滚动轴承故障诊断领域中存在的故障样本较少,健康样本丰富所导致的故障类别失衡问题以及环境中存在噪声与人为噪声标签干扰等问题,提出了一种基于混合裁剪失衡数据增强与SwinNet网络相结合的故障诊断模型(fault diagnosis model combining mixed-cutout imbalance data augmentation and SwinNet,SwinNet-MCIDA)。首先,借鉴图像分类数据增强方法,利用混合裁剪失衡数据增强算法对失衡类别的数据进行裁剪、混合处理生成新的故障样本来增加样本量,构造出增强数据集,然后对增强数据集进行小波变换转换成时频图像,将所得图像输入到卷积神经网络与Swin Transformer编码器相结合的SwinNet网络模型中,进行特征提取和故障分类,从而实现滚动轴承故障的高效诊断。试验结果表明,该文所提出的SwinNet-MCIDA故障诊断方法不仅可以很好地解决滚动轴承故障诊断领域故障类别失衡问题,而且也可以很好地应对故障数据中存在环境噪声问题与人为噪声标签干扰问题。

基于窗口注意力聚合Swin Transformer的无人机影像语义分割方法

采用无人机遥感影像进行地物分类的过程中,由于无人机影像的小尺寸地物目标不够突出和无人机影像背景复杂、地物信息难以辨别等问题,采用现行的经典语义分割方法难以获得理想的地物分类效果。该研究以Swin Transformer网络模型为基础,提出了基于窗口注意力聚合Swin Transformer(window attention aggregation Swin Transformer,WAA SwinT)的语义分割网络模型方法。采用了多窗口注意力聚合的方式来进行更精准的注意力计算,以提升无人机遥感影像中的小尺寸地物目标的分类精度和质量。同时借鉴嵌入连接的思想,采用多级特征嵌入连接解码器改善网络结构,应用于无人机遥感影像的分割中,取得了更精细化的分割效果。为了验证提出的方法在无人机影像语义分割中的效果,分别在城市无人机遥感影像UAVid数据集和UDD数据集进行了实验,并与现行的经典语义分割方法进行了对比。实验结果表明,语义分割方法在UAVid数据集和UDD数据集上均可以得到最佳的语义分割效果。同时,该语义分割方法能显著地提升无人机影像中小尺寸地物精准分割的质量。

结合Swin Transformer的多尺度遥感图像变化检测研究

由于地物信息的复杂性及变化检测数据的多元性,遥感图像特征提取的充分性和有效性难以得到保证,导致变化检测方法获取的检测结果可靠性较低。虽然卷积神经网络(CNN)凭借有效提取语义特征的优势,被广泛应用于遥感领域的变化检测之中,但卷积操作固有的局部性导致感受野受限,无法捕获时空上的全局信息以至于特征空间对中远距离依赖关系的建模受限。为捕获远距离的语义依赖,提取深层全局语义特征,设计了一种基于Swin Transformer的多尺度特征融合网络SwinChangeNet。首先,SwinChangeNet采用孪生的多级Swin Transformer特征编码器进行远距离上下文建模;其次,编码器中引入特征差异提取模块,计算不同尺度下变化前后的多级特征差异,再通过自适应融合层将多尺度特征图进行融合;最后,引入残差连接和通道注意力机制对融合后的特征信息进行解码,从而生成完整准确的变化图。在CDD和CD_Data_GZ 2个公开数据集上分别与7种经典和前沿变化检测方法进行比较,CDD数据集中本文模型的性能最优,相比于性能第二的模型,F1分数提高了1.11%,精确率提高了2.38%。CD_Data_GZ数据集中本文模型的性能最优,相比于性能第二的模型,F1分数、精确率和召回率分别提高了4.78%,4.32%,4.09%,提升幅度较大。对比实验结果证明了该模型具有更好的检测效果。在消融实验中也证实了模型中各个改进模块的稳定性和有效性。本文模型针对遥感图像变化检测任务,引入了Swin Transformer结构,使网络可以对遥感图像的局部特征和全局特征进行更有效地编码,让检测结果更加准确,同时保证网络在地物要素种类繁多的数据集上容易收敛。

基于Swin-Transformer的黑色素瘤图像病灶分割研究

黑色素瘤图像病灶分割的主流模型大多基于卷积神经网络(CNN)或Vision Transformer(ViT)网络,但是CNN模型受限于感受野大小,无法获取全局上下文信息,而ViT模型只能提取固定分辨率的特征,无法提取不同粒度的特征。为解决该问题,建立一种基于Swin-Transformer的融合双分支的混合模型SwinTransFuse。在编码阶段,首先利用Noise Reduction图像降噪模块去除图像中的毛发等噪声,然后采用CNN和Swin-Transformer构成的双分支特征提取模块来提取图像的局部细粒度信息和全局上下文信息,并对来自Swin-Transformer分支的全局上下文信息使用SE模块进行通道注意力操作以增强全局特征的提取,对来自CNN分支的局部细粒度信息使用卷积块注意力机制模块(CBAM)进行空间注意力操作以增强局部细粒度特征的提取,接下来利用Hadamard积运算对两个分支输出的特征进行特征交互以实现特征的融合,最后将SE模块输出的特征、CBAM模块输出的特征和特征融合后的特征进行拼接以实现多层次特征融合,并通过一个残差块输出交互后的特征。在解码阶段,将特征输入到上采样模块得到图像最终的分割结果。实验结果表明,该模型在ISIC2017和ISIC2018皮肤病数据集上的平均交并比分别为78.72%和78.56%,优于同类型的其他医学分割模型,具有更高的实用价值。

基于Swin Transformer的遥感图像超分辨率重建

由于遥感图像中的物体具有不确定性,同时不同图像之间的特征信息差异较大,导致现有超分辨率方法重建效果差,因此本文提出一种结合Swin Transformer和N-gram模型的NG-MAT模型来实现遥感图像超分辨率.首先,在原始Transformer计算自注意力的分支上并联多注意力模块,用于提取全局特征信息来激活更多像素.其次,将自然语言处理领域的N-gram模型应用到图像处理领域,用三元N-gram模型来加强窗口之间的信息交互.本文提出的方法在所选取的数据集上,峰值信噪比在放大因子为2、3、4时达到了34.68 dB、31.03 dB、28.99 dB,结构相似度在放大因子为2、3、4时达到了0.9266、0.8444、0.7734,实验结果表明,本文提出的方法各个指标都优于其他同类方法.

基于增强Swin Transformer的深度伪造人脸检测

针对传统卷积神经网络感受野的大小受限和特征交互学习能力弱,基于卷积神经网络的伪造人脸检测技术提取到的特征相对单一的问题,提出了基于增强Swin Transformer的深度伪造人脸检测方法,引入了局部多头自注意力和全局多头自注意力机制,结合了Swin Transformer的优势,能够有效地捕获图像上下文信息和视频时序关系,具有较强的全局感受野和长距离依赖建模能力。在DFDC数据集的实验结果表明,该方法优于基线方法,具有较好的深度伪造人脸检测能力。

localswin:基于swin-transformer的高效胃癌病理图像分割

医学图像分割技术在疾病诊断中发挥着重要作用,但是CNN在处理图像时缺乏全局上下文信息,而transformer对于局部信息处理能力相对较弱,这都影响分割任务的准确性。针对这一问题,提出名为localswin的高性能分割网络,在U-Net架构的基础上,编码部分使用swin transformer模块,将反向残差块中所使用的深度卷积引入前馈网络中,增强了对局部特征的提取能力。利用所提出的策略来融合全局和局部特征,提高了模型的性能和效果。在公开的BOT胃切片数据集上评估了所提出的网络。实验结果表明,localswin与其他深度分割模型相比,在分割任务上有更好的效果,对基于切片的分割的准确率达到86.27%。

基于感知增强Swin Transformer的遥感图像检测

随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本不平衡、目标尺度小等问题,提出一种基于感知增强Swin Transformer的遥感图像检测网络,以提升遥感图像检测性能。在主干网络设计过程中,利用Swin Transformer分层设计和移动窗口的优点有效减小计算复杂度,同时插入空间局部感知块,加强网络对局部相关性和结构信息的提取能力。设计区域分布回归损失为小目标分配更大的权重,解决了正负样本不平衡的问题,同时结合改进的IoU-aware分类损失消除不同分支之间的差距,降低分类和回归损失。在公共遥感数据集DOTA上的多组实验结果表明,该网络获得了78.47%的平均精度均值和10.8帧/s的检测速度,检测性能优于经典的目标检测网络Faster R-CNN、Mask R-CNN以及现有优秀的遥感图像检测网络,并且在各类不同尺度的目标上均具有较好的性能表现。

基于Swin Transformer目标全景分割的三峡库首土质滑坡识别

【目的】滑坡识别是解决山区地质灾害隐患在哪里的关键。尤其人工智能是深度学习方法开始被广泛应用于目标识别领域,但对于多植被山区复杂环境下的滑坡隐患识别,存在着模型单一、精度较差等问题。【方法】故文章提出一种基于Swin Transformer(Shift Windows Transformer)作为骨干网络结合目标全景分割的智能识别方法,对三峡库首区域土质滑坡开展识别。将三峡库首的485处土质滑坡制作成样本集,并分为训练集和测试集。将训练集加载进Swin Transformer模型中进行训练,模型采用自注意力机制对训练集提取特征,构建特征图,测试集验证特征图的识别精度,保留识别精度最高的特征图。最终以此实现滑坡目标与背景区域的有效区分进而完成隐患识别,同时与DeepLab V3模型进行对比。【结果】结果显示:Swin Transformer模型在识别精度和识别速度上都要高于DeepLab V3模型,在三峡库首的试验中准确率可以达到83.55%,单张图片预测时间为0.18 s。【结论】结果表明:该方法能够在多植被山区复杂环境下快速识别土质滑坡,可为多植被山区的滑坡灾害调查提供参考。

基于Swin Transformer遥感影像的建筑物提取方法

针对传统的高分辨率遥感影像建筑物提取精度较低和漏提、错提等问题,现有的大多数方法都依赖于卷积神经网络来解决,由于卷积运算的局部性,直接获取全局上下文信息充满了挑战。受具有强大全局建模能力的Swin Transformer的启发,本文提出了一种基于Swin Transformer模型影像建筑物提取方法。该方法采用U-net架构,使用Swin Transformer block来替代普通卷积提取上下文特征,进行局部和全局语义特征学习。利用该模型在WHU高分辨率遥感影像数据集上进行实验,对该方法与U-net、U-net++、AttentionUnet方法进行对比实验验证,结果表明,该方法能够有效提升建筑物提取的准确性和精度。

基于SwinS-YOLACT的番茄采摘机器人实时实例分割算法研究

在设施番茄种植环境中,果实重叠遮挡等情况会影响识别精度。因此,本文提出了一种基于YOLACT的实例分割模型,提高识别精度。首先,对果实重叠遮挡的类别进行细分并增加该类数据集,从而接近真实采摘场景,并在采摘决策中改善重叠遮挡对识别精度的影响;其次,采用Simple Cope-Paste数据增强方法提高了模型的泛化能力,降低了环境因素对实例分割效果的干扰;然后,在YOLACT基础上,引用多尺度特征提取技术克服了单一尺度特征提取的局限性,并降低了模型复杂度;最后,引入Swin Transformer中的Swin-S注意力机制,优化了模型对于番茄实例分割的细节特征提取效果。实验结果表明,本文模型能够一定程度上缓解分割结果中出现的漏检、误检问题,其目标检测平均精度为93.9%,相比于YOLACT、YOLO v8-x、Mask R-CNN、InstaBoost分别提升10.4、4.5、16.3、3.9个百分点;平均分割精度为80.6%,相比于上述模型分别提升4.8、1.5、7.3、4.3个百分点;推理速度为25.6 f/s。该模型综合性能有较强的鲁棒性,兼顾了精度与速度,可为番茄采摘机器人完成视觉任务提供参考。

基于改进YOLOv5s的CNN-Swin Transformer森林野生动物图像目标检测算法

【目的】为提高野生动物在复杂森林环境中的检测精度,促进森林野生动物保护技术发展,提出一种基于YOLOv5s网络模型、针对陷阱相机所摄取森林野生动物图像的改进检测算法。【方法】以包含湖南壶瓶山国家级自然保护区几种典型森林野生动物在内的数据集为研究对象,首先,对真实标注框图像进行裁剪、归一化和缩放处理,随机将2~4张裁剪图像拼贴组成新的数据集元素,以丰富和增强数据集图像信息;其次,使用一种基于通道注意力思想的加权通道拼接方法,在通道拼接时引入权重改变通道数量,通过反向传播训练方法不断更新权重以增加重要特征信息的通道层数;接着,引入Swin Transformer模块与CNN网络相结合,为卷积神经网络特征提取加入自注意力机制,融合2种网络特征提取层的优势,提高特征提取的感受野;最后,选择更优的α-DIoU损失函数替代GIoU损失函数,针对边界框重叠面积和中心点距离造成的损失,引入新的几何因素惩罚项。【结果】在相同试验条件和数据集下,相比原YOLOv5s网络模型,改进算法极大提高检测的平均准确率和平均回归率,均值平均精度由74.1%提升至88.4%,获得14.3%的精度提升,同时也超过YOLOv3、YOLOXs、RetinaNet、Faster R-CNN等其他流行目标检测算法。【结论】针对陷阱相机所摄取森林野生动物图像背景与目标对比度低、遮挡重叠严重,致使检测误检率、漏检率高等问题,在检测算法中提出一系列改进措施,为我国森林野生动物的保护和数据获取提供一种新的可行性方案和思路。

融合路径聚合网络的Swin Transformer的故障诊断方法研究

针对Transformer在航空发动机故障诊断中存在空间信息特征建模能力不足、计算复杂度较高的问题,提出一种基于路径聚合网络的Swin Transformer的故障诊断方法。该方法将路径聚合网络嵌入到Swin Transformer网络中,提高模型多尺度融合特征金字塔顶层信息和底层信息的效率,并采用窗口多头自注意力模块和移动窗口多头自注意力模块,有效降低提取空间信息特征的计算复杂度,并促进信息的流动和特征的传递。最后,将提出的方法应用到航空发动机滚动轴承故障诊断中。试验结果表明,提出的方法明显优于Transformer和传统Swin Transformer方法,在保证识别精度的同时,提高了模型的识别速度。

基于CNN-Swin Transformer Network的LPI雷达信号识别

针对在低信噪比(SNR)条件下,低截获概率雷达信号调制方式识别准确率低的问题,提出一种基于Transformer和卷积神经网络(CNN)的雷达信号识别方法。首先,引入Swin Transformer模型并在模型前端设计CNN特征提取层构建了CNN+Swin Transformer网络(CSTN),然后利用时频分析获取雷达信号的时频特征,对图像进行预处理后输入CSTN模型进行训练,由网络的底部到顶部不断提取图像更丰富的语义信息,最后通过Softmax分类器对六类不同调制方式信号进行分类识别。仿真实验表明:在SNR为-18 dB时,该方法对六类典型雷达信号的平均识别率达到了94.26%,证明了所提方法的可行性。

基于Swin Transformer生成对抗网络的图像生成算法

针对图像生成算法中生成对抗网络训练效率低且不稳定的问题,本文提出了一种改进生成对抗网络的图像生成算法(STGAN),该算法首先在判别器中引入Swin Transformer机制,来增强网络的判别能力;其次改进了生成器,使用自注意力代替卷积神经并且加入谱范数规范化,来达到平衡生成器和判别器的效果;最后使用Wasserstein距离作为损失函数,以提高网络的训练稳定性.实验数据表明,在CelebA和LSUN两种不同数据集上STGAN比自注意力生成对抗网络所生成图像的FID值分别降低了2.5266和5.4476,IS值分别提高了0.0941和0.0343.从实验结果可以看出,STGAN模型生成的图片具有非常高的自然度和逼真度,有效地提升了生成图像的质量和真实性.