融合CBAM注意力机制与可变形卷积的车道线检测

为满足自动驾驶及汽车高级驾驶辅助系统(ADAS)对车道线检测准确性和实时性的要求,提出一种融合卷积块注意力机制(CBAM)与可变形卷积网络(DCN)的车道线检测方法CADCN。在特征提取模块中嵌入CBAM注意力机制,增强有用特征并抑制无用特征响应;引入可变形卷积替换常规卷积,用带偏移的采样学习车道线的几何形变,提高卷积核的建模能力;基于行锚分类思想,对行方向上的位置进行选择和分类分析,预测车道线的位置信息,提高车道线检测模型的实时性。在车道线公开数据集上对所提CADCN方法进行训练及验证,在满足实时性的情况下,CADCN方法在TuSimple数据集上准确率达到96.63%,在CULane数据集上综合评估指标F1平均值达到74.4%,验证了所提方法的有效性。

多尺度卷积与双注意力机制融合的入侵检测方法

为提高互联网入侵检测方法的准确率,提出一种卷积神经网络与注意力机制结合的入侵检测方法。利用Borderline-SMOTE过采样算法和MinMax归一化对数据进行预处理,有效缓解入侵数据量差异较大问题,提升非平衡数据检测性能;使用卷积神经网络Inception结构多尺度对数据进行特征提取,并配合注意力机制进行维度更新,提高模型处理海量数据时特征表达的准确性。研究结果表明:入侵检测方法的平均准确率为99.57%;相较于SVM方法、CNN方法、RNN方法、BLS-GMM方法,准确率分别提升了4.48%、1.35%、1.62%和0.04%,召回率分别提高了4.48%、1.36%、1.62%和0.14%。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

融合注意力机制和轻量级卷积神经网络的胸部CT影像分类方法研究

同一疾病类型的CT影像也会由于患者患病严重程度不同而呈现差异,现主要临床诊断方法依赖医生专业能力及过往经验,客观性有待增强,效率有待提高。针对以上问题,提出一个融合注意力机制的CT分类网络—并联轻量级CT分类卷积神经网络(PC-CTNet)。该网络主要由并联支路通道混洗(PCS)模块和深度高效跳跃连接(DES)模块组成。PCS模块采用双分支并联,融合了多尺度感受野的特征;DES模块则利用卷积和高效通道注意力提取有效的深层类间区分信息,并通过跳跃连接避免梯度消失。结果表明,PC-CTNet模型在包含5988张大小不一的CT数据集上分类准确率能达到98.46%,在包含194922张的开源数据集上分类准确率能达到98.75%。PC-CTNet的各项性能指标均接近现有的胸部CT分类网络,且其参数量和计算量约为0.32、75.58 M,分别为实验比较中胸部CT分类网络的10.17%和3.21%,拥有更高的参数效率和计算效率,能有效辅助医生诊断,提高诊断效率和客观性。

改进卷积注意力机制的轻量级检测无人机目标模型

利用深度学习中特征提取的优势,提出一种改进算法,结合改进的卷积注意力模块,将YOLOv5模型骨干网络替换为改进的MobileNetv2轻量化网络,形成I-YOLOv5算法,旨在提高检测精确度和小目标、多目标的检测能力,同时保持实时性.为构建数据集,通过网络搜索和自主录制无人机视频的方式,用Label Img工具完成标注.结果表明,I-YOLOv5算法在检测精度上有显著提升,对小目标和多目标的检测效果更优秀,在视频检测方面表现出色,具有较好的实时性能.通过模型结构优化,使检测模型的大小减少为原来的18.6%,检测速度提升120%.I-YOLOv5算法的平均精度均值达到97.8%.

基于多尺度注意力机制的实例分割卷积神经网络

在Mask R-CNN实例分割模型的基础上提出一种新的深度学习方法MixedMask。该方法提出并应用两种有效的策略:(1)使用混合尺度的卷积核,提高网络对分辨率较低实例的提取能力;(2)在压缩激励网络的基础上进行改进,解决原网络中降低维度导致的通道信息丢失问题。在气球数据集和xBD数据集上进行测试,该算法分别达到了83.46%和58.92%的AP(IoU=50),相比Mask R-CNN模型,分别提升了1.3%和5.9%。

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

嵌入注意力机制的深度可分离卷积SAR目标识别

深度可分离卷积(Depthwise Separable Convolution,DSC)的应用使得深度学习的网络模型轻量化。在此基础上,提出了嵌入注意力机制的DSC合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别方法。通过将DSC与注意力机制结合,提高网络对目标重要特征的学习能力;将多个DSC进行叠加和并联,设计多尺度网络模块,增强不同深度网络的特征提取能力;通过残差连接缓解深层网络的梯度弥散和梯度爆炸问题。使用公开数据集实验表明,所提方法在网络模型参数量较小的情况下,获得99.0%的平均识别率,具有较强的识别优势。

基于卷积—反残差和组合注意力机制的航天器多余物检测

航天器密闭电子设备内腔多余物给航天器飞行安全带来了巨大隐患。由于多余物体积小、与设备内常规组件形态结构相似且易被其他组件遮挡,采用现有的方法对其进行检测时误检、漏检频发。为解决上述问题,提出一种基于卷积—反残差和组合注意力机制的航天器密闭电子设备多余物检测网络RPDN。首先,网络通过构建卷积—反残差模块,保证了多余物细粒度特征的完整性;其次,设计组合注意力机制,增强了多余物特征的表征能力;最后,结合多尺度特征融合模块与目标检测层从多维度进行目标预测。实验结果表明RPDN在各项评价指标上均取得了良好的效果,mAP达到92.16%,检测效率达到了13FPS,实现了航天器密闭电子设备内腔多余物高效、精准检测。

结合可变形卷积和注意力机制的目标跟踪方法

为解决多数孪生网络目标跟踪算法特征提取能力弱、目标形变和遮挡场景适应性差等问题,提出一种结合可变形卷积和注意力机制的孪生网络目标跟踪算法。首先,在特征提取网络中采用可变形卷积,使其能够自适应学习目标偏移量,提升模型适用性;然后,在骨干网络中引进SimAM注意力机制,在提升特征提取能力的同时减少计算量;最后,将公开数据集OTB2015和VOT2018与其他算法进行性能对比实验。实验结果表明,所提方法的精确度和成功率比基准算法SiamFC在形变和遮挡等场景下有较好的鲁棒性。

注意力机制和全局卷积在光伏板分割中的应用

准确识别光伏对光伏产业有效健康发展至关重要。高分辨率遥感图像复杂的背景和光伏板形状颜色多变给光伏识别带来巨大的挑战。针对高分辨率遥感图像中光伏用地提取问题,提出网络以精确地提取光伏用地。该网络采用编码器和解码器的形式融合多层特征以结合丰富的语义信息,利用全局卷积和双注意力机制捕获重要的空间特征和通道特征,并使用通道融合模块恢复丢失的部分通道信息。提出的方法可以有效解决光伏板边缘模糊和光伏板粘连的问题。在公开光伏数据集上的实验表明,与U-Net、SegNet、DeepLabv3和DeepLabv3+相比,所提方法在PV01、PV03、PV08三个数据集上的IoU分别达到87.02%、92.98%和88.43%。实验证明所提方法能对高分辨率遥感图像光伏板进行高准确率分割。

基于注意力机制改进卷积神经网络的柑橘病虫害识别

柑橘是我国种植面积最大、产量最高的水果作物,对我国的经济发展具有重要作用。柑橘病虫害侵染是导致柑橘产量及品质下降的重要原因之一,高效、准确的柑橘检测技术对柑橘产业的发展具有重要意义。因此,本研究提出一种基于注意力机制改进卷积神经网络的柑橘病虫害识别算法,以多尺度特征提取网络Inception v3为基础,在Inception结构间加入CBAM注意力机制,构建基于注意力机制的多尺度特征提取网络;然后融合残差注意力网络,提升模型的整体性能,以实现对柑橘病虫害的精准识别。试验结果表明,基于注意力机制改进卷积神经网络的柑橘病虫害识别算法从通道和空间维度提高了对输入有效特征的关注度,在融合残差注意力网络后,提高了模型的整体性能,实现对5种柑橘叶片(溃疡病、潜叶蛾、黑点病、红蜘蛛和健康叶片)的识别准确率达到98.49%,比基础模型提高4.02百分点,说明本研究提出的方法对柑橘病虫害的识别效果较好。最后将模型进行部署,设计柑橘病虫害识别系统,实现基于移动端的柑橘病虫害智能检测,为相关研究提供参考。

基于卷积注意力机制的锂离子电池剩余使用寿命预测研究

锂离子电池剩余使用寿命的准确估计和预测对于锂离子电池电源管理系统有着重要的意义.一方面能够提高实际电路系统的可靠性,同时能够延长电池的使用寿命.锂离子电池的退化过程表现出复杂、非线性特征且伴随容量再生现象,导致传统预测模型对锂离子电池剩余使用寿命预测(Remaining Useful Life,RUL)准确性低.为进一步提升锂离子电池RUL的预测精度,首先深入分析电池历史退化数据,构建一种新的基于卷积注意力机制深度学习框架.通过对锂离子电池老化循环过程的研究,选取容量数据作为健康因子(Health Indicator,HI),利用卷积神经网络(Convolu⁃tional Neural Network,CNN)的卷积和池化操作挖掘数据内在信息,降低数据复杂度,提取电池数据的时序特征.并将特征数据输出到构建的注意力机制(Attention Mechanism,AM)深度网络,捕捉全局时序数据的位置信息和分析时序数据中内部信息的关系,以此获得准确的RUL预测.最后使用公开的NASA和CALCE数据集上进行验证,并对比其他几种预测模型,结果表明所提出模型的具有较高预测精度和泛化适应能力.

基于空洞卷积自注意力机制的煤岩显微组分组识别模型

基于深度学习的识别模型是目前解决煤岩显微组分组识别问题的主要手段,但这些模型在计算过程中参数不断堆叠,导致模型的算力需求增加,影响模型的训练效率。针对上述问题,构建了一种基于空洞卷积自注意力(DCSA)机制的改进Swin-Transformer模型——DA-ViT。首先,为了在加强煤岩显微组分组图像的局部特征信息的同时保留其二维空间信息,提出了DCSA机制,通过对煤岩显微图像的大尺寸卷积核进行多尺度分解,加强了煤岩显微图像不同区域像素之间的联系,显著降低了图像注意力的参数量,降低率为81.18%。然后,为了加强煤岩显微组分组图像间的形态特征关联性,将DCSA和改进的Swin-Transformer框架相结合,提出了DA-ViT识别模型。实验验证结果表明,与现有的其他识别模型相比,DA-ViT模型在提高预测结果准确率的同时,可显著降低模型的算力需求,其像素准确率(PA)和平均交并比(mIoU)的最大值分别为92.14%和63.18%,模型参数总量(Params)和浮点运算次数(FLOPs)的最小值分别为4.95×106和8.99×109。

基于卷积注意力机制的恶意软件样本增强方案

在人工智能的大背景下,越来越多的机器学习算法被应用于恶意软件检测领域.然而在实际场景中存在恶意软件数量明显低于良性软件的数据不平衡问题.基于此,提出了一种融合卷积注意力机制的生成对抗网络检测逃逸模型,该模型能够生成可绕过检测器检测的恶意软件对抗样本.实验对比了该逃逸模型、基于深度神经网络的以及基于卷积神经网络的逃逸模型在7种恶意软件分类器上的性能表现,结果表明,该逃逸模型可以在不清楚检测模型内部结构的情况下获得更高的逃逸率,能够为生成高质量对抗样本提供一种新的思路.

整合卷积与高效自注意力机制的图像分类模型

对于传统的图像分类网络而言,卷积神经网络受限于较小且固定的感受野使其忽略了感受野之外的图像特征信息.基于Transformer模型灵活的多头自注意力机制使得其必须依赖于巨大的数据量以减少过拟合的风险,导致模型参数与计算复杂度过于庞大.针对上述问题本文提出了一种名为CSNet的多阶段图像分类模型.在模型浅层阶段利用大核卷积分解的思想扩大卷积层感受野以学习较大范围的特征信息.在深层阶段利用一种高效的自注意力机制,将卷积运算的特性加入自注意力机制中,有效减少了原始自注意力机制局部计算冗余和过分依赖数据的问题.CSNet在CIFAR-10和ImageNet-1K数据集上的分类准确率分别达到98.9%和82.6%,实验表明CSNet的模型性能优于ResNet和Vision Transformer.

基于注意力机制多尺度卷积神经网络的轴承故障诊断

提出了基于注意力机制的多尺度卷积神经网络(Multi-scale and Attentive Convolutional Neural Network,MACNN)进行轴承故障分类,该模型以一维Resnet18网络结构为主体,卷积模块采用残差模块和空洞卷积并行方式以达到扩大感受野、避免特征信息丢失的目的,同时利用注意力机制可以自动提取有用特征的能力,将模型提取特征作为输入送入注意力机制模块,进一步提高模型故障分类能力。此外,采用边界平衡生成对抗网络(Boundary Equilibrium Generative Adversarial Networks,BEGAN)模型对故障数据增强,改变不平衡数据集的比例,增加数据集样本数量,降低MACNN模型的过拟合,提高诊断的准确率。在帕德博恩轴承数据集(Paderborn University Dataset,PU)上验证MACNN模型,实验结果表明,该模型在特征提取和故障分类方面都表现出了良好的性能,优于当前主流模型。

基于注意力机制与条件卷积的行人重识别方法

行人重识别是计算机视觉领域的一个重要部分,但是容易受到行人图片实际采集环境的影响,导致行人特征表达不充分,进一步导致模型精度不高。提出一种基于注意力机制和条件卷积改进的行人重识别方法,使行人特征得到更充分的表达。将注意力机制引入特征提取网络ResNet50中,对输入图像空间和通道上的关键信息进行加权强化,同时抑制可能的噪声;将条件卷积模块引入主干网络,动态调整卷积核参数,使模型能够在保持高效推理的同时提高容量和性能;利用Market1501、MSMT17和DukeMTMC-ReID主流数据集对改进方法进行评估,Rank1分别提升1.1%、2.4%、1.3%,mAP分别提升0.5%、2.3%、1.3%,结果表明:改进方法能够使行人特征得到更好的表达,识别精度得到提升。

融合卷积和注意力机制的车辆行人检测算法

针对复杂场景下的车辆、行人检测困难的问题,提出一种融合卷积和注意力机制的车辆行人检测算法ATDWYOLOX(ATtention DepthWise YOLOX)。在主干网络中采用CSPNeXt,并设计融合卷积和注意力机制的模块ACMBottleneck(Attention Convolution Mix Bottleneck);在特征融合网络中,设计融合深度可分离卷积和注意力机制的网络ATDW-PAFPN(ATtention DepthWise Progressive Asymmetric Feature Pyramid Network);在损失函数中,使用完全交并比(CIoU)和Varifocal Loss。在公开数据集BDD100K上的实验结果表明,所提算法平均检测准确率(mAP)相较于YOLOX提升了2.52个百分点,能较好地完成复杂场景下车辆行人的检测任务。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。