融合注意力机制和多尺度特征的无人机图像分割方法

针对现有无人机遥感图像分割算法普遍存在的未充分利用位置信息、小目标分割不准确等问题,基于DeeplabV3+网络提出融合注意力机制和多尺度特征的无人机遥感图像语义分割方法。首先,在DeeplabV3+网络基础上,用经过预训练的MobileNetV2网络替代原模型中的Xception主干网络,减少模型参数量;其次,在空洞空间金字塔池化结构中加入坐标注意力细化模块以充分利用位置信息来增强深层特征,并通过多尺度特征融合模块处理骨干网络不同层次的信息,帮助模型更好地适应不同尺度的物体;最后,利用双三次插值上采样法替代双线性插值上采样法,便于模型对特征图进行上采样,在训练时用Dice损失和交叉熵损失之和作为模型的损失函数来预防无人机图像存在的类别不平衡问题。实验结果表明:改进后模型在Aeroscapes数据集上的平均交并比、类别平均像素准确率分别为67.23%、76.01%,与原模型相比分别提高了6.89%、6.59%;在WHDLD数据集上的平均交并比、类别平均像素准确率分别为66.09%、78.19%,与原模型相比分别提高了0.88%、2.04%。

基于高效通道注意力机制和特征融合网络的冠心病诊断算法研究

针对冠心病重要特征不确定、诊断模型预测性能低等因素而导致冠心病早期诊断精度低的问题,提出一种基于高效通道注意力机制和特征融合的网络。通过XGBoost(eXtreme Gradient Boosting)来确定冠心病重要特征,设计数据生成图片的特征组合算法以适用该模型;为提高诊断模型预测性能,采用可以提升模型学习能力和特征利用率的高效通道注意力机制模块和特征融合模块。实验结果表明,在UCI克利夫兰心脏病数据集上,与其他诊断算法相比,该算法优于传统机器学习方法,预测精度可达100%且稳定性好。

基于时频融合多级注意力机制的双通道CNN轴承故障诊断模型

为进一步提高轴承故障诊断准确率,提出了一种基于快速傅里叶变换(fast fourier transform,FFT)和变分模态分解(variational mode decomposition,VMD),并融合多级注意力机制的双通道卷积神经网络(convolutional neural networks,CNN)模型用于滚动轴承故障诊断。首先,将一维故障信号经过FFT和VMD处理后进行堆叠,作为双通道CNN的输入;其次,将预处理后的数据分别通过基于通道注意力和全局注意力的二维CNN提取重要特征;再次,利用交叉注意力机制将两个通道提取的特征进行融合;最后,经过全连接层和softmax分类器进行故障诊断。试验结果表明:采用该方法在美国凯斯西储大学10类轴承故障数据集的平均准确率达到100%,其诊断精度优于常见的故障预测模型和单通道模型,有利于促进轴承的智能故障诊断研究和实际应用。

基于GAN和多尺度空间注意力的多模态医学图像融合

针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题,提出一种基于生成对抗网络和多尺度空间注意力机制的图像融合算法。首先,生成器采用自编码器结构,分别利用编码器和解码器对输入图像进行特征提取、融合和重建,生成融合图像;其次,整个对抗网络框架采用双鉴别器结构,使得生成器生成的融合图像同时保留多个模态图像的显著特征;最后,构建一种多尺度空间注意力机制作为编码器进行特征提取的基本模块,利用多尺度结构充分捕获并保留源图像的多尺度特征,并且引入空间注意力机制更好地保留源图像的结构和细节信息。哈佛大学全脑图谱数据库上的实验结果表明:所提算法生成的融合图像不仅纹理细节更为丰富,有助于人类视觉观察,而且在3种不同类型的医学图像融合任务上平均梯度、峰值信噪比、互信息、视觉信息保真度等客观评价指标的平均值分别达到0.3023、20.7207、1.4414、0.6498,与其他先进的算法相比具有一定的优势。

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。

基于注意力机制与光照感知网络的红外与可见光图像融合

部分图像融合方法未充分考虑图像环境的光照状况,导致融合图像中出现红外目标亮度不足以及整体画面亮度较低,从而影响纹理细节的清晰度.为解决上述问题,提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法.首先,在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率,将其运用至融合网络损失函数中,用以指导融合网络训练;然后,在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取,得到空间显著信息后,输入卷积神经网络(CNN)以提取深度特征;最后,将深度特征信息进行拼接用于图像重建,进而得到最终的融合图像.实验结果表明:本文方法的互信息(MI)、视觉保真度(VIF)、平均梯度(AG)、融合质量(Qabf)与空间频率(SF)较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%;融合后的图像能够有效保留红外目标亮度,且包含丰富的纹理细节信息.

基于像素差异度注意力机制的轻量化YOLOv5行人检测算法

针对实时行人检测场景存在遮挡、形态姿势不同的行人目标,YOLOv5模型对于这些目标检测有明显的漏检问题,提出一种像素差异度注意力机制(pixel difference attention,PDA),不同于传统的通道注意力机制用全局均值池化(global average pooling,GAP)、全局最大值池化(global max pooling,GMP)来概括整张特征图的信息,全局池化将空间压缩成一个值来表征整个通道,造成了空间信息的流失,PDA将空间信息沿高和宽分别压缩,并将其分别与通道信息联系起来做注意力加权操作,同时提出一种新的通道描述指标表征通道信息,增强空间信息与通道信息的交互,使模型更容易关注到综合了空间和通道维度上的特征图的重要信息,在主干网络末端插入PDA后使模型平均精度(mean average precision,mAP)0.5提升了2.4个百分点,mAP0.5:0.95提升了4.4个百分点;针对实时检测场景的部署和检测速度要求模型拥有较少的参数量和计算量,因此提出了新的轻量化特征提取模块AC3代替原YOLOv5模型中的C3模块,该模块使插入PDA后的改进模型在精度仅仅损失0.2个百分点的情况下,参数量(parameters,Param.)减少了20%左右,浮点运算量(giga floating-point operations,GFLOPs)减少了30%左右。实验结果表明,最终的改进模型比YOLOv5s原模型在VOC行人数据集上mAP0.5提升了2.2个百分点,mAP0.5:0.95提升了3.1个百分点,且参数量减少了20%左右,浮点运算量减少了30%左右,在GTX1050上的检测速度(frames per second,FPS)提升了4。

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

基于跨越连接与融合注意力机制的红外弱小目标检测方法

针对复杂背景红外小弱目标信号弱、特征不明显、干扰虚警多等检测性能低问题,提出基于跨越连接与融合注意力机制的单阶段红外弱小目标检测算法。该方法融合注意力机制与残差网络提取小目标多特征,减少复杂背景干扰;双向跨越连接结构融合低层与高层各自的特征信息,凸显小弱目标特征表达能力;增加一个高分辨率检测层,重新聚类弱小目标先验框,增强目标与背景的特征差别学习能力;最后,建立真实目标和预测目标框的高斯分布模型,计算两者相似性,解决因IoU度量造成的目标损失回归偏差敏感问题,提升损失回归准确性。在公开红外小目标数据集上进行对比测试,实验结果表明该算法对多种复杂背景下红外小弱目标检测均取得了最佳性能,在平均精度和速度等方面都得到显著提升,模型最小,方便部署。

基于多尺度特征融合和注意力机制的辣椒病害识别模型

【目的】设计MobileNet with large convolution Unit(Mobile-LU)模型,解决由于辣椒病害种类复杂和类间差异不明显而造成的病害识别困难、准确率低等问题。【方法】重新构建MobileNetV3的特征提取层,在并行分支单元结构中采用不同尺度的分离卷积,增强模型对辣椒病害尺寸差异特征的表达能力;引入Squeeze-and-Excitation(SE)注意力机制,加强模型对病害相关的特征的学习,提高病害识别准确率;同时使用Leaky ReLU激活函数,在负值区域引入小的斜率,避免网络神经元死亡问题;调整输出层节点个数,更好适应辣椒病害分类任务。【结果】Mobile-LU模型的识别准确率达到98.2%,相较于MobilenetV3-small、ResNet34、VGG16、Alexnet、Swin Transformer、MobileVIT等模型分别高出8.9、7.3、4.4、20.4、6.0、8.3个百分点,且Mobile-LU模型在精确率、召回率、特异度以及F1分数等关键性能指标上也均有优势。【结论】Mobile-LU模型对辣椒病害的识别性能更优,能更好满足辣椒病害识别任务。

基于Elmo和注意力机制的双通道文本分类模型

针对中文文本分类过程中文本特征提取不全面、语义表征不准确的问题,提出一种基于改进Elmo模型、带有注意力机制的卷积神经网络与门控循环网络相结合的双通道文本分类模型。模型首先将静态词向量输入Elmo模型生成动态词向量对文本进行表示;然后利用双通道结构构建加入注意力机制的卷积神经网络和双向门控循环网络分别提取文本内部特征和全局语义信息;最后,将双通道特征向量融合处理后通过分类器完成文本分类。依托THUCNews数据集进行模型的仿真,所提模型分类准确率和召回率分别为90.21%、90.45%,实验结果表明,与其它分类模型相比,所提模型具有更好的分类性能。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于注意力机制的互特征融合旋转机械故障检测技术

旋转机制在生产生活中的应用愈加广泛;但旋转机械存在应用环境较为复杂,生产环境恶劣,各部件相互影响,单一信号无法完整表现故障特征等问题;针对此问题,研究根据注意力机制构建卷积神经网络,在网络结构中引入自注意力模块,采用多信号源进行数据提取,将不同信号特征互补融合并构建旋转机械故障检测模型,同时使用傅里叶变化进行数据优化;实验结果表明,构建模型的故障分类准确率为99.92%,比第二优的算法高出1.89%,故障检测精度达到了99.64%,数据进行傅里叶变换后的检测精度平均提升了17.32%;由此可得,构建的故障检测模型能够有效提取并融合不同数据采集的故障特征,大幅提升旋转机械的故障检测精度,且将数据特征融合模块加入模型中能够有效减少单独计算的运行成本,提高运算速度,减少因机械故障产生的生产安全事故。

基于多尺度特征融合和注意力机制的矿区道路障碍检测

为解决复杂露天矿区背景下的行车障碍检测问题,提出一种基于改进跨尺度特征融合的矿区道路障碍检测算法。首先,针对原始矿山数据集中小目标样本类别不平衡的问题,采用一种基于几何变换和加权泊松融合的数据增强方法扩大样本数量;其次,在特征提取阶段提出更适用于障碍检测的跨阶段连接网络,以增大检测尺度,提高算法对小目标特征的学习能力;然后,在特征融合阶段提出基于3D无参注意力(SimAM)和去权重的双向特征融合金字塔网络(Bi-FPN),通过扩大预测特征图和特征感受野,提升多尺度检测性能;最后,针对训练中样本不均衡和障碍物边界框定位不精准问题,引入质量焦点损失函数(QFL)和可扩展的交并比损失函数(SIoU),将分类得分与位置的质量预测结合,提高对密集遮挡目标的定位精度。结果表明:改进方法能有效识别复杂背景下露天矿区非结构化道路障碍物,在实际应用中,检测精度达到91.88%,检测速度达到68.7帧/s,相较于主流检测方法有着更好的小目标和多尺度检测性能,可满足露天矿区无人矿卡行进中的障碍安全检测要求。

基于偏移注意力机制和多特征融合的点云分类

三维点云由于受到雾、雨和雪等自然天气条件的影响较小而受到了广泛的关注,在交通、能源和医疗等多个领域得到了广泛的应用,其中点云分类旨在划分三维点云数据的类别,为不同领域决策者提供信息,实现解决方案的制订,对自动驾驶、故障诊断和医学影像分析等具有重要意义。点云分类的应用前景广阔,但目前仍面临着诸多挑战。由于点云的无序性、稀疏性和有限性等特点,传统的图像处理和计算机视觉方法难以直接应用于点云数据分析,直接利用卷积神经网络不能有效提取点云特征,部分模型的特征提取不够充分,局部和全局的信息未能有效的利用,可能丢失重要特征信息。针对上述问题,提出一种实现点云的局部和全局特征相结合的多特征融合模块,并结合偏移注意力机制嵌入多特征融合模块实现较深层次点云特征的提取,同时引入残差结构充分利用浅层提取的特征,防止网络过深导致浅层特征丢失。在ModelNet40和ScanObjectNN分类数据集上进行训练和测试,并对实验进行了消融研究和部分数据可视化。实验结果发现该模型在ModelNet40上的分类总体准确率为93.6%,与PointNet、LDGCNN和PCT等模型相比,分类总体准确率分别提高了4.4、0.7和0.4个百分点;在ScanObjectNN上的分类总体准确率为83.7%,与PointNet++和DGCNN相比,分类总体准确率分别提高了5.8和5.6个百分点,具有较高的准确率和鲁棒性。

基于自适应特征融合和注意力机制的变电设备红外图像识别

针对变电设备红外图像复杂背景下多目标、小目标及遮挡目标识别效果差的问题,该文提出一种基于中心点网络(CenterNet)的变电设备红外图像识别方法。通过将自适应特征融合模块(ASFF)和特征金字塔(FPN)相结合,构建ASFF+FPN结构的特征融合网络,增强了模型对多目标和小目标的跨尺度特征融合能力,排除背景信息;针对网络对遮挡目标特征捕捉能力差的问题,在特征融合网络中添加全局注意力机制,增强目标显著度;为实现模型轻量化,引入深度可分离卷积,减少参数量和推理时间;最后,通过引入分布焦点损失函数,克服了原损失函数对遮挡目标敏感性差的问题,提升了模型收敛速度和识别精度。在包含7种红外变电设备图像的自建数据集上进行测试。实验表明该算法与原始算法相比,识别精度提升了3.55%,达到了95.19%,模型参数量仅为32.52M,与4种主流目标识别算法对比,该算法在识别精度和算法复杂度上具有明显优势。

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

结合特征融合和注意力机制的SAR舰船检测算法

针对现有的合成孔径雷达目标检测算法仅利用图像底层特征进行检测存在的对小尺度舰船目标的检测率较低问题,提出一种结合特征融合和注意力机制的目标检测算法。面向SAR舰船目标检测,在原始主干网络SSD目标检测算法的基础上,引入注意力机制模块、不同层次的特征图进行特征融合、对含有小尺度目标的图像进行过采样还通过多次复制粘贴小目标实现数据增广。实验通过对SAR舰船图像数据集的大量训练和测试,结果表明本文算法能有效提升对舰船目标的综合检测性能,在公开SAR舰船目标检测数据集上平均精度可以达到94.16%。

复杂场景下自适应注意力机制融合实时语义分割

实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息,再经过特征融合网络(FFN)获得准确语义图像。AAFNet采用扩展的深度可分离卷积(DDW)可增大语义特征提取感受野,提出自适应平均池化(Avp)和自适应最大池化(Amp)构成自适应注意力机制融合模块(AAFM),可细化目标边缘分割效果并降低小目标的漏分率。最后在复杂城市街道场景Cityscapes和CamVid数据集上分别进行了语义分割实验,所设计的AAFNet以32帧/s(Cityscapes)和52帧/s(CamVid)的推理速度获得73.0%和69.8%的平均分割精度(mIoU),且与扩展的空间注意力网络(DSANet)、多尺度上下文融合网络(MSCFNet)以及轻量级双边非对称残差网络(LBARNet)相比,AAFNet平均分割精度最高。

融合高效通道注意力的复杂场景违禁品检测

针对X射线在违禁品检测任务中安检图像色彩存在对比度低、检测精度低、极易出现漏检错检的问题,在快速区域卷积神经网络(Faster R-CNN)算法基础上,通过K-means聚类算法改进锚框(Anchor)的生成方式;提出将高效通道注意力机制(ECANet)引入到感兴趣池化层(ROIpooling)后,突出违禁品的轮廓、色彩等信息。本文算法在S_DXray数据集上的m AP达到92.06%,改进后网络模型检测精度提高5.06个百分点。有效提高X射线图像违禁品检测的精度和小尺度目标的检测能力,有效避免错检、漏检的现象。