基于时频融合多级注意力机制的双通道CNN轴承故障诊断模型

为进一步提高轴承故障诊断准确率,提出了一种基于快速傅里叶变换(fast fourier transform,FFT)和变分模态分解(variational mode decomposition,VMD),并融合多级注意力机制的双通道卷积神经网络(convolutional neural networks,CNN)模型用于滚动轴承故障诊断。首先,将一维故障信号经过FFT和VMD处理后进行堆叠,作为双通道CNN的输入;其次,将预处理后的数据分别通过基于通道注意力和全局注意力的二维CNN提取重要特征;再次,利用交叉注意力机制将两个通道提取的特征进行融合;最后,经过全连接层和softmax分类器进行故障诊断。试验结果表明:采用该方法在美国凯斯西储大学10类轴承故障数据集的平均准确率达到100%,其诊断精度优于常见的故障预测模型和单通道模型,有利于促进轴承的智能故障诊断研究和实际应用。

基于梯度注意力机制与交叉神经网络的红外与可见光图像融合

针对现有的基于深度学习的红外与可见光图像融合算法存在的难以区分重要信息与无关信息的问题,提出了一种基于梯度注意力机制与细节保留交叉神经网络(Detail Preserving Cross Network,DPCN)的红外与可见光图像融合方法。首先,将改进的梯度注意力机制引入到DPCN,引导神经网络尽可能关注可见光图像的纹理细节和红外图像的目标信息,同时利用DPCN加强红外图像和可见光图像之间的信息交互。然后,提出了一种基于多尺度细节保留模块的解码器重建融合图像。最后,设计了一种基于辅助判别器的自适应损失函数。实验结果表明:所提方法可保留更清晰的边缘及目标信息,在主观和客观评价方面均优于对比方法。

基于Elmo和注意力机制的双通道文本分类模型

针对中文文本分类过程中文本特征提取不全面、语义表征不准确的问题,提出一种基于改进Elmo模型、带有注意力机制的卷积神经网络与门控循环网络相结合的双通道文本分类模型。模型首先将静态词向量输入Elmo模型生成动态词向量对文本进行表示;然后利用双通道结构构建加入注意力机制的卷积神经网络和双向门控循环网络分别提取文本内部特征和全局语义信息;最后,将双通道特征向量融合处理后通过分类器完成文本分类。依托THUCNews数据集进行模型的仿真,所提模型分类准确率和召回率分别为90.21%、90.45%,实验结果表明,与其它分类模型相比,所提模型具有更好的分类性能。

基于交叉注意力机制的多模态加密流量分类

针对大多数多模态加密流量分类方法使用特征级联的方式进行多模态融合,无法最优地利用不同模态的互补性信息问题,提出了一种基于交叉注意力机制的多模态加密流量分类方法。首先,通过试验分析,选择流量的有效载荷、数据包到达时间和长度序列及统计信息作为3种模态;其次,设计了3条路径使用神经网络学习3种模态特征;最后,将学习的高维特征使用交叉注意力机制进行融合,并使用ISCX VPN和ISCX nonVPN数据集对模型进行训练和测试。结果表明,模型的宏平均F1值分别达到96.95%和96.59%,与当前4种比较优秀的方法相比,均有明显提升;在相同数据集下,本方法的宏平均F1值较级联方式提升了2.49%,证实了交叉注意力机制在融合模态间互补信息方面的有效性。

融合交叉注意力机制的图像任意风格迁移

图像风格迁移指将一张普通照片转化为一张具有其他艺术风格效果的图像,随着深度学习的发展,出现了一些图像任意风格迁移算法,给定任意风格便能生成具有该风格的风格化图像。针对任意风格迁移算法中存在如何同时适应全局和局部风格,保持空间一致性问题,提出了一个融合交叉注意力的任意风格迁移算法网络,通过捕捉长程依赖,高效生成全局与局部风格协调的风格化图像;针对风格化图像的内容结构扭曲问题,在进行风格迁移之前,加入一组并行的通道空间注意力网络,该注意力网络能进一步细化关键特征,保留关键信息;除此之外,提出了一个新的损失函数,在消除伪影的同时能更好地保留内容结构信息。该算法能根据内容图像的语义空间分布,匹配语义上最接近的风格特征,高效灵活地调整局部风格,且能保留更多内容结构的原始信息。实验结果表明,所提算法能够生成任意风格且视觉效果更佳的高质量风格化图像。

基于高效通道注意力机制与多尺度特征融合的烟丝图像识别方法研究

针对现有方法在识别烟丝类型中泛化能力差、准确率低的问题,提出了一种基于高效通道注意力机制与多尺度特征融合的烟丝类型识别方法。对采集的梗丝、膨胀叶丝、叶丝和再造烟丝4类烟丝图像进行降噪处理,处理后的图像经K-means聚类得到图像的前景和后景并完成分割,提高输入图像的抗环境干扰能力和特征提取能力。在Inception-ResNet-V2网络中引入高效通道注意力机制,加强模型提取特征的能力;同时,将改进后的模块输出的特征图进行多尺度融合,增加特征代表性,降低过拟合风险。最后,在比较收敛性和准确性时,用PReLU和AdaBound代替了ReLU激活函数和Adam优化器。结果表明,提出的算法具有较好的泛化能力,能实现4类烟丝高效识别,最终识别精度为97.23%,单幅图像的检测时间为0.107 s。

基于空间通道注意力机制与多尺度融合的交通标志识别研究

通过YOLOV3深度神经网络算法可以实现道路交通标志的自动检测与识别,由于YOLOV3运算量较大,很难在小型嵌入式平台上使用,针对这一问题,文中提出了改进型的轻量化YOLOV3-3ctiny神经网络模型。为了融合浅层特征图的空间信息与深层特征图的语义信息,将第19层卷积层通过上采样后与第7层卷积层相连接,多尺度融合后输入YOLO层形成新的特征金字塔,以此提高小目标的识别率。同时,为使网络更加关注交通标志的细节信息,在特征金字塔网络中增添能够增强前景信息降低背景信息的空间通道注意力机制。使用Kmeans聚类算法对数据集作聚类处理,获得一组先验框。在长沙理工大学交通标志数据集上进行测试,实验结果表明,改进后算法的识别率达到91.8%,与YOLOV3-tiny算法相比提高了24.9个百分点,而与YOLOV3算法相比,每张图片的检测时间降低至0.133s,降低了49.6%,该算法具有较强的实时性和准确性。

融合残差连接与通道注意力机制的Siamese目标跟踪算法

针对Siamese跟踪算法在目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题,提出一种融合残差连接与通道注意力机制的目标跟踪算法.首先,通过残差连接将模板分支网络提取的浅层结构特征与深层语义特征进行有效的融合,以提高模型的表征能力;其次,引入通道注意力模块,使模型自适应地对不同语义目标特征通道加权,以提高模型的泛化能力;最后设计并提出一种基于相关性响应值的权重掩码,在离线训练时提高相似语义目标损失值的权重,使模型在端到端的离线学习中增强对相似语义目标的辨别力.在标准跟踪数据集OTB,TempleColor128,VOT2016和VOT2018上与主流跟踪算法进行对比实验,结果表明,该算法在跟踪精度和成功率上都展现了极强的竞争力,具有优越的实时性和可靠性.

融合通道注意力机制和非局部操作的蚕茧识别算法

蚕茧质量对蚕丝的品质具有重要影响,因此在缫丝前需要对蚕茧进行分类,但传统人工筛选法成本较高,效率和准确率均较低。为了提高蚕茧种类分类准确率,利用深度学习的方法在ResNet50的基础上做出改进并将其应用于蚕茧分类。首先以ResNet50作为主干网络提取蚕茧原图特征信息,然后使用非局部操作提取特征图的全局特征,进一步利用通道注意力机制提取全局特征图的通道特征,从而将全局语义特征和细节信息进行全局平均池化,并将全局平均池化得到的特征向量输入到Softmax分类器中进行分类。实验结果表明:融合通道注意力机制和非局部操作的蚕茧识别算法平均分类准确率达95.6%,比ResNet50网络模型高2.4%。

基于交叉通道注意力的目标跟踪方法

针对跟踪目标被遮挡或者目标周围存在敏感干扰物,从而导致前景背景分类错误和边界框预测错误的问题,提出了一种基于交叉通道注意力的无锚框的目标跟踪方法。首先使用交叉通道注意力对特征提取部分的最后三层输出进行通道增强,利用模板特征和搜索特征中目标的相似性,整合所有通道特征的相关性,从而选择性的对目标特征的通道的增强。之后使用加权求和的方式进行特征融合,使用浅层特征和深层特征融合提高分类精度和定位的准确度。最后使用位置注意力对分类特征图进行全局编码,再次增强分类特征图的特征,提高网络对目标的定位准确性。实验结果表明,提出的算法在OTB100数据集上取得了85.5%的准确率和64.1%的成功率,在UAV20L数据集上取得了70.5%的准确率和56.0%的成功率。

基于多任务判别器与注意力机制的虚拟试衣研究

为了解决具有错位和遮挡处理条件的高分辨率虚拟试戴(HR-VITON)在处理复杂纹理表现和服装特征交互方面的局限性问题,在基于具有错位和遮挡处理条件的高分辨率虚拟试衣方法的基础上,提出了一种结合多任务判别器与注意力机制的虚拟试衣方法。首先,通过在条件构造器中加入高效通道注意力机制,有效地增强了特征融合;其次,在图像生成网络中采用多任务判别器,以增强对服装渲染的全局和局部尺度评估。通过不断调整网络的学习参数,最终将模型放在数据集VITON-HD Dataset上进行虚拟试衣实验。实验结果表明,与原方法相比,该方法的图像感知相似度(LPIPS)提升了6%、分布距离指标(FID)提升了4.8%,虚拟试衣效果更好。

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题,提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法,实现对图像低级边缘、边界、目标轮廓的检测;首先构建了双通道主干网络,包含语义分支通道和空间细节分支通道;其次,基于多尺度原则构建了多尺度及注意力机制模块,对特征图像的高、宽、通道的维度变换,分配特征权重,在捕捉跨通道信息的同时,还能够捕捉方向感知和位置感知的信息;最后将空洞融合模块融合到语义分支通道中,提升网络提取特征信息的能力。实验结果表明,所提出的算法对光伏板图像边缘检测性能有提升,相较HED、RCF与FCN算法,F_(1)值提升了2.83%、0.37%与1.54%,获得了较为清晰的裂缝图像。

基于通道域注意力机制的人群密度估计算法研究

人群密度估计对于人流监控与人群安全具有重要意义。针对现有算法主要通过不同尺度感受野来学习特征,而无法高效利用多尺度特征的问题,文中设计了一个基于通道域注意力机制的特征融合模块。该模块可以在训练模型时学习特征融合的分布情况,以高效利用多尺度特征。此外,为解决人群数据集的样本有限问题,文中采用了多规模数据增广来训练模型。将新模型在Shanghaitech数据集上进行测试,并在陕西省某旅游景区人群计数数据集上进行验证。实验结果显示,基于通道域注意力机制的人群密度估计算法在MAE与MSE上均优于MCNN,证明了该方法在人群密度估计领域具有良好的应用价值。

融合注意力与上下文信息的皮肤癌图像分割模型

为提高黑色素瘤分割性能,提出一种结合注意力机制和上下文信息的U-Net网络。以Resnet-34网络作为编码器,在跳跃连接中加入坐标注意力,通过捕捉精准的位置信息定位更准确的目标区域;设计上下文信息模块强化对前景特征的学习能力;加入高效通道注意力模块,重新校准权重并获得更高质量的分割图。在公共数据集ISIC 2017上验证改进模型,其结果表明,该模型召回率、F1分数达到85.29%、87.03%,与现有方法对比,在准确率、交并比、召回率、F1分数产生竞争性结果。

基于SE注意力机制和深度卷积的语音情感识别

针对语音情感识别无法全面提取语音中的情感特征,导致识别准确率低的问题,提出一种基于SE注意力机制和深度卷积的双通道网络模型。首先利用速度增强对原始数据集进行数据扩增,选取Mel谱图、一阶差分、二阶差分混合特征图作为输入,以获得更全面的语音信号特征;然后在SE注意力机制通道前后添加Ghost卷积提取局部特征,在深度卷积通道前后引入卷积层和逐点卷积提取全局特征,通过特征融合层融合特征;最后利用指数型下降进行训练识别。结果表明,所提模型在扩增后的中文数据集CASIA、英文数据集SAVEE、eNTERFACE05中的准确率均高于其他深度卷积神经网络模型,验证了该模型的有效性及泛化能力。

基于交叉注意力机制的煤矿井下不安全行为识别

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN(时空图卷积网络)提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明:采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准确率提高6.7%,验证了基于交叉注意力机制的多特征融合行为识别模型更适用于煤矿井下复杂环境中人员不安全行为识别。

基于交叉注意力机制的波束形成后置滤波网络

针对经典后置滤波器存在的对非平稳噪声抑制效果较差且存在目标语音失真的问题,提出一种基于交叉注意力机制的后置滤波网络,使用基于门控循环单元的编解码器作为网络框架,并在编解码器组之间添加残差连接;使用基于伽马通域的波束输出信号与噪声参考信号功率谱的子带增益作为双特征输入;使用特征交叉的多头归一化点积注意力捕获序列输入的长距离依赖信息并进行特征融合。实验结果表明,该算法在不同信扰比和噪声条件下的语音质量和可懂度指标均优于基线系统,具有较强的鲁棒性;在对非平稳噪声具有较好抑制效果的同时,能最小化目标语音的失真;且相较端到端的深度学习方法,具有轻量化和低时延的特点,能满足实际工程应用的需求。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

基于特征融合与通道注意力的目标检测研究

目标检测作为计算机视觉领域的重要研究分支,受到了广泛关注。目前,特征融合已成为提高目标检测准确率的重要方法,基于特征金字塔网络(FPN)的特征融合方法结合了多维度感受野来弥补信息丢失的思想,改进了FPN,并取得了良好的效果。在众多以FPN为基础结构的特征金字塔模型中,BiFPN既包含了级联信息传递,也包含了跨层特征融合,DyFPN包含了多感受野Inception模块,也包含了动态门机制。受BiFPN和DyFPN的启发,文中提出了一种新的基于FPN且包含注意力机制的特征金字塔网络结构——CAI-BiFPN。CAI-BiFPN沿用了Inception-FPN的思想,在BiFPN的基础上加入了Inception模块,并引入了通道注意力和SE模块。该结构应用了BiFPN的分支注意力与SE模块的通道注意力,将Inception模块放置于BiFPN第4层和第6层,SE模块则放置在BiFPN的第5层。通过一系列简单的改进,相较于BiFPN,CAI-BiFPN的APs和APl提升了0.7个百分点,AP从31.0%提升到31.3%,提升了0.3个百分点。

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。