基于注意力机制和迁移学习的服装分类方法

针对服装图像分类效率低、准确率不高等问题,提出了一种基于注意力机制和迁移学习的服装图像分类方法。主要采用预训练的ResNet50网络模型在服装数据集上进行迁移学习,以降低对数据集的依赖,并减少网络训练时间;通过几何变换和颜色抖动2种数据增强手段处理数据集,提高模型的泛化能力;以ResNet50为基础网络,加入卷积注意力机制模块(convolutional block attention module, CBAM),依次从通道和空间2个维度提高对服装不同区域的关注度,增强了特征表达能力。在CD和IDFashion两类背景干扰信息不同的数据集上进行验证,实验结果表明:所提出的模型能够提取更多服装特征信息,在IDFashion数据集的平均分类准确率为95.60%,分别高于ResNet50、ResNet50+STN和ResNet50+ECA模型6.65%、6.69%、6.62%,一定程度上提高了服装图像分类的准确率和效率。

改进注意力机制的滚动轴承故障诊断方法研究

针对滚动轴承在实际工作环境中噪声较大和负载变化的问题,提出一种基于双注意卷积机制的残差神经网络(DACM_ResNet,double attention convolution mechanism ResNet)轴承故障诊断方法;首先,对滚动轴承振动信号进行短时傅里叶变换(STFT,short-time fourier transform)并使用伪彩色处理得到三通道图像数据;然后,对残差神经网络在轴承故障诊断上进行研究,在残差单元的卷积层之后,使用DACM模块,将残差特征在通道和空间维度上进行进一步提取,最后,在凯斯西储大学(CWRU)数据集上进行试验验证,试验结果表明所提出的方法在噪声环境下及负载变化时,平均诊断准确率达到了98%以上,说明所提出的模型有较好的鲁棒性。

基于图模型与注意力机制的室外场景点云分割模型

针对在多对象且空间拓扑关系复杂的室外场景环境中相似地类区分难的问题,提出一种结合图模型与注意力机制模块的A-Edge-SPG(Attention-EdgeConv SuperPoint Graph)图神经网络。首先,利用图割和几何特征结合的方法对超点进行分割;其次,在超点内部构造局部邻接图,从而在捕获场景中点云的上下文信息的同时利用注意力机制模块凸显关键信息;最后,构建超点图(SPG)模型,并采用门控循环单元(GRU)聚合超点和超边特征,实现对不同地类点云间的精确分割。在Semantic3D数据集上对A-Edge-SPG模型和SPG-Net(SPG neural Network)模型的语义分割效果进行比较分析。实验结果表明,相较于SPG模型,A-Edge-SPG模型在总体分割精度(OA)、平均交并比(mIoU)和平均精度均值(mAA)上分别提升了1.8、5.1和2.8个百分点,并且在高植被、矮植被等相似地类的分割精度上取得了明显的提升,改善了相似地类间语义分割的效果。

嵌入注意力机制残差网络的人脸表情识别方法

针对非可控环境下人脸图像易受光照、姿态变化等复杂因素的影响,进而造成人脸表情识别中人脸检测率低、表情识别精度差的问题,提出了一种嵌入注意力机制残差网络的表情识别方法。在人脸检测阶段,采用改进的RetinaFace算法完成多视角人脸检测,获取人脸区域。在特征提取阶段,使用ResNet-50作为特征提取的主干网络。将预处理后的人脸图片,依次通过该网络的通道注意力网络和空间注意力网络,显式地建模全局图像的相互依赖性。在虚线残差单元的快捷连接中,加入平均池化层进行下采样操作,通过微调残差模块的操作,加强输入特征之间的映射,使提取的表情特征能够较完整地在网络之间传递,以减小特征信息的损失;在网络中再次传入卷积注意力机制模块,增强局部表情特征的通道维度信息和空间维度信息,加强特征图中与表情相关性高的特征区域的重点信息,同时抑制特征图中无关区域的干扰,进而加快网络的收敛速度,提高表情识别率。与基线算法相比,该方法在RAF-DB和FER2013表情数据集上分别取得了87.65%和73.57%的准确率。

基于挤压激励的轻量化注意力机制模块

针对向卷积神经网络(CNN)中嵌入注意力机制模块以提高模型应用精度导致参数和计算量增加的问题,提出基于挤压激励的轻量化高度维度挤压激励(HD-SE)模块和宽度维度挤压激励(WD-SE)模块。为了充分利用特征图中潜在的信息,HD-SE对卷积层输出的特征图在高度维度上进行挤压激励操作,获得高度维度上的权重信息;而WD-SE在宽度维度上进行挤压激励操作,以得到特征图宽度维度上的权重信息;然后,将得到的权重信息分别应用于对应维度的特征图张量,以提高模型的应用精度。将HD-SE与WD-SE分别嵌入VGG16、ResNet56、MobileNetV1和MobileNetV2模型中,在CIFAR10和CIFAR100数据集上进行的实验结果表明,与挤压激励(SE)模块、协调注意力(CA)模块、卷积块注意力模块(CBAM)和高效通道注意力(ECA)模块等先进的注意力机制模块相比,HD-SE与WDSE在向网络模型中增加的参数和计算量更少的同时得到的精度相似或者更高。

深度迁移学习与注意力机制的垃圾图像分类方法

垃圾分类对节约资源和改善环境有着重大的意义。针对日益增长的消费能力带来的垃圾种类的增长,提出基于深度学习神经网络和迁移学习并引入注意力机制的垃圾分类图像识别方法。首先,建立以可回收垃圾、厨余垃圾、有害垃圾和其他垃圾四大分类为基础,其中包括210种子分类的二级分类数据集;其次,采用自训练加迁移学习融合的方式,先搭建自训练卷积神经网络,后建立VGG16、ResNet50和ResNeSt50卷积神经网络,迁移同构模型下的预训练特征模型,把两个网络提取的特征融合,再添加基于CBAM注意力机制的改进模型,最后再接入微调网络再训练。分析得出最好的垃圾分类模型。实验数据表明,论文方法对比非迁移学习网络,时间消耗平均节约了29.4%,模型准确度平均提升8.06%,准确度最高达到92.2%。该方式可以显著地提升垃圾分类自动化的效率。

多注意力机制网络卫星图像分割算法

针对深度学习的语义分割法,在卫星图像分割中对半岛、小岛和湖泊细小支流的边缘信息提取丢失问题,提出了多注意力机制网络(MA-Net)卫星图像分割算法,弥补了边缘信息提取丢失问题。该算法的框架采用了端到端的对称结构,由编码和解码两部分组成。编码部分采用改进的VGG16网络提取湖泊的纹理特征,解码部分引入全局平均池化注意力融合机制(GPA),能够有效融合编码部分提取的纹理特征,得到高分辨率的卫星图像特征图。在网络的输出端加入注意力机制模块(Attention),充分提取湖泊边缘信息,有效分割出半岛、小岛和湖泊细小支流。实验结果表明,该模型相比现有语义分割算法,具有更好的分割精度,各项分割指标都有提升,并且在公共数据集City Scapes上验证了模型具有通用性。

多支路融合注意力机制的低光照图像增强

低光照图像因对比度低、细节信息丢失、颜色失真以及噪声伪影等引起的过度曝光,质量差等问题,融合多支路和注意力机制,提出一种基于分解任务的多支路低光增强网络(MANet).首先低光输入图像经过VGG-19卷积对特征采集同时为了降低计算量,将普通卷积替换为可分离卷积的网络提取出边缘、纹理等有效特征.然后为了能够自适应对图像中不同区域进行自适应亮度增强和噪声伪影抑制,在增强模块中引入注意力机制,利用注意力机制来学习和设置不同权重信息,获取特征信息来增强.最后,为了进一步提高图像质量,在融合模块中使用多尺度特征融合,使得上下文信息得到进一步的融合和增强.实验结果表明,MANet能够自适应的提升图像亮度的同时降低图像的噪声和去除伪影,与GLADNet网络相比PSNR提高了7%,SSIM提高了3.3%.

基于Deeplab V3 Plus的自适应注意力机制图像分割算法

针对Deeplab V3 Plus在下采样操作中图像细节信息和小目标信息过早丢失的问题,提出了一种基于Deeplab V3 Plus网络架构的自适应注意力机制图像语义分割算法。首先,在Deeplab V3 Plus主干网络的输入层、中间层和输出层均嵌入注意力机制模块,并且引入一个权重值与每个注意力机制模块相乘,以达到约束注意力机制模块的目的;其次,在PASCAL VOC2012公共分割数据集上训练嵌入注意力模块的Deeplab V3 Plus,以此手动获取注意力机制模块权重值(经验值);然后,探索输入层、中间层和输出层中注意力机制模块的多种融合方式;最后,将注意力机制模块的权重值更改为反向传播自动更新,从而得到注意力机制模块的最优权值和最优分割模型。实验结果表明,与原始Deeplab V3 Plus网络结构相比,引入自适应注意力机制的Deeplab V3 Plus网络结构在PASCAL VOC2012公共分割据集和植物虫害数据集上的平均交并比(MIOU)分别提高了1.4个百分点和0.7个百分点。

基于多监督注意力机制神经网络的脑胶质瘤循环肿瘤细胞分割算法

为了提升脑胶质瘤循环肿瘤细胞的分割准确率,解决人工分割中肉眼分辨边界困难、目标占比小和操作流程繁琐等问题,提出一种端到端的像素级分割算法。针对数据特征,提出一种基于多监督机制的混合损失函数用以提升预测区域与目标区域的交并比,同时训练网络向预测正确目标个数的方向收敛;其次,在网络中逐层加入卷积块注意力机制模块,使得网络能在空间、通道层面重点学习数据特征,进一步提升预测准确率;最后,通过采用混合训练的方式,只需一个网络模型就能直接分割出细胞核、细胞质区域,缩减训练流程。实验结果表明,此分割算法对比U-Net网络在召回率、精确率以及Dice系数方面均有显著提升,在细胞核分割方面,分别达到92.20%、86.56%、88.27%;在细胞质分割方面,分别达到89.33%、85.31%、86.33%。

基于注意力残差U-Net的皮肤镜图像分割方法

针对皮肤镜图像类内差异性、类间相似性、数据集不平衡等问题,本文提出了一种基于注意力残差U-Net(attention residual block-UNet,ARB-UNet)的皮肤镜图像分割方法。将卷积块注意力机制模块(convolutional block attention module,CBAM)引入到U-Net模型的“跳过连接”中;同时将CBAM模块集成到残差模块DRB(dilated residual networks)中得到注意力残差结构(attention residual block,ARB);且选取Focal Tversky Loss作为该模型的损失函数;在ISIC2016数据集上对所提ARB-UNet模型进行训练和测试,并与传统方法和UNet等经典方法进行了对比实验,实验结果中灵敏度(sensitivity,SE)达到了92.9%,特异性(specificity,SP)达到了94.1%,Dice相似指数(dice similarity cofficient,DSC)达到了92.1%,整体上均优于其他对比方法,从而验证了本文方法是有效的和可行的。

融合Inception V1-CBAM-CNN的轴承剩余寿命预测模型

针对现有的滚动轴承剩余寿命(RUL)预测方法精度低、轴承健康指标(HI)构建困难等问题,提出了一种基于卷积神经网络(CNN)并融合Inception V1模块和卷积注意力机制模块(CBAM)的滚动轴承RUL预测模型。首先,在CNN中添加了CBAM机制,并进行了加权处理,在通道和空间维度对重要特征进行了强化,对次要特征进行了抑制,通过添加改进的InceptionV1模块,提高了CNN通道间信息交互水平,全面提取了退化特征;然后,进行了网络优化,采用全局最大池化(GMP)方法对模型进行了简化,采用Dropout和批量归一化(BN)方法,避免了过拟合,提高了精度,且克服了训练时出现的梯度消失问题;最后,对数据进行了处理,将降噪后的信号重组为三维张量,将其作为HI,构建了退化标签,引入了评价指标,采用PHM2012轴承数据集进行了实验验证,在3种工况下将其与深度神经网络(DNN)、CNN方法、结合注意力机制的残差网络方法(ResNet)进行了对比。研究结果表明:该方法在变负载条件下的平均RMSE为0.033,较其他方法的RMSE值分别降低了86%、78%和69%,在预测精度和泛化能力方面具有明显优势。

基于深度主动学习与CBAM的细粒度菊花表型识别

针对菊花种类繁多,花型差别细微,准确标注比较困难的问题,基于深度主动学习与混合注意力机制模块(Convolutional block attention module,CBAM),提出了一种标号数据不足情况下的菊花表型智能识别方法和框架。首先,通过主动学习策略基于最优标号和次优标号法(Best vs second-best,BvSB)在未标记菊花样本中选取信息量较大的样本进行标记,并将标记后的样本放入训练样本中;其次,使用深度卷积神经网络ResNet50作为本文的主干网络训练标记样本,引入混合注意力机制模块CBAM,使模型能够更为准确地提取细粒度图像中的高层语义信息;最后,用更新后的训练样本继续训练分类模型,直到模型达到迭代次数后停止。实验结果表明,该方法在少量菊花标记样本下,精确率、召回率和F1值分别达到93.66%、93.15%和93.41%。本文方法可为标号数据不足情况下的菊花等花卉智能化识别提供技术支撑。

基于时序特征灰度图与多任务学习的综合能源负荷短期预测

准确预测综合能源系统(Integrated energy system,IES)中的电、冷、热多元负荷是提高各类能源综合效率、获得更大经济效益的关键。因此,提出一种基于时序特征灰度图与多任务学习的综合能源负荷短期预测方法。首先将初始特征集通过最大互信息系数(Maximum information coefficient,MIC)改进的快速相关滤波算法(Fast correlation-based filter,FCBF)对IES时序特征数据集进行相关性分析和冗余性分析;然后将特征选择结果利用因数重构法与MIC-gamma图像增强的方法重构为时序特征灰度图,能够直观有效地反映实际数据的特征相关性;其次采用基于多任务学习框架的(Convolutional block attention module-convolutional neural network-deep bidirectional gated recurrent unit,CBAM-CNN-DBiGRU)网络进行训练,嵌入的卷积注意力机制模块(Convolutional block attention module,CBAM)与(Deep bidirectional gated recurrent unit,DBiGRU)结构能有效加强共享层的关键信息提取和时序信息处理能力;最后以美国亚利桑那州立大学的IES数据为例对提出的方法进行测试。选取典型工作日和典型休息日并对比多种深度网络模型,测试结果表明,该模型在典型工作日的加权平均绝对百分比误差与加权均方根误差分别最大降低了0.8813%与229.2593 kW,在典型休息日则分别最大降低了0.9942%与360.8007 kW,能够有效提升IES多元负荷预测精度。

基于改进扩散模型的图像去雨方法

针对图像去雨过度、泛化性差的问题,提出运用改进扩散模型进行单幅图像去雨的方法。通过前向过程添加高斯噪声使数据变为高斯分布,设计残差模块双输入信息通道、添加ECA(efficient channel attention)通道注意力机制模块以构建噪声估计网络,实现全局平均池化而不降低维数,从而捕获局部跨通道交互信息;利用模型网络进行反向采样,预测并剔除雨痕噪声,实现图像去雨。最后通过模拟雨滴数据集和Rain100数据集对改进的扩散模型与其他4种算法进行对比实验测试,实验结果表明改进的扩散模型能够有效去除雨痕,其中雨滴和雨线的峰值信噪比分别为30.328 5和34.896 5,结构相似性分别为0.927 1和0.962 0;自制真实雨图数据集,使用YOLOv7算法对去雨后的图像进行车辆检测,结果表明采用改进的扩散模型去雨能够有效提高车辆检测置信度,进一步验证了所提方法具有良好的去雨效果和泛化能力。

基于改进DeepLabV3+的遥感图像分割模型

针对经典语义分割算法对遥感图像分割精度较低、参数量大等问题,提出一种轻量化网络与注意力机制相结合的改进深度实验室库版本3(DeepLabV3)+遥感图像语义分割模型。首先,使用移动网络版本3(MobileNetV3)轻量化模型作为DeepLabV3+的特征提取网络,可有效降低整个模型的参数量;其次,对DeepLabV3+模型解码阶段添加有效通道注意力机制,增强模型对不同通道的特征拟合能力。实验表明:本文所改进DeepLabV3+模型相较原模型,参数量降低3.6倍,平均交并比提高3.5%。

基于双目视觉的吊卡识别及其方位检测方法

针对钻井自动化中的吊卡方位需要人工参与,存在识别定位缓慢和准确性差等问题,建立了基于双目视觉的吊卡自动识别和方位检测系统。通过搭建双目相机视觉检测系统,对获取的吊卡图像进行标定、立体校正和立体匹配,进而获取吊卡图像的深度图。在原YOLOv5s目标检测算法的主干网络中引入卷积注意力机制模块,将要识别的目标即吊卡图像进行增强,进一步提高吊卡的识别准确率,结合深度图计算出吊卡中心位置相对机械手的距离和偏转角度,从而实现自动送管。通过在钻井平台的试验,验证了吊卡识别和检测方法的有效性。所得结论可为钻井平台自动化程度的进一步提高提供技术借鉴。

一种基于YOLOv4的密集人群小目标检测方法

针对密集人群中由于视觉受阻和目标被遮挡导致小目标检测精度不佳的问题,本文基于YOLOv4模型将卷积块–像素块注意力机制模块(convolutional-pixel block attention module,CBAM-PIX)融入主干网络CSPDarknet53,并利用级联思想改进特征融合网络。注意力机制方法和特征融合方法不仅提升了数据的丰富性,而且提高了空间通道像素提取信息的能力和目标检测的准确性。此外,通过减少网络层数降低计算量和减少参数,提高了网络模型在有限计算资源和设备需求下的适应能力。实验结果表明,改进的模型算法在用于密集人群小目标检测时精确度提升了1.96%,且鲁棒性强。该算法为解决复杂背景下密集人群小目标检测提供了有效的解决方案,具有应用价值。

基于BM-TransUNet的咽后壁识别分割

图像分割经历了从基于传统的阈值分割等方法逐步发展到基于卷积神经网络的方法.传统的卷积神经网络在分割领域中表现突出,但训练速度慢、分割精度不够高等局限性也逐渐显现.为了克服这些局限性,本文在TransUNet网络的基础上进行改进,提出了基于BM-TransUNet网络的图像分割识别方法,在TransUNet网络的在第1层之后加上深度可分离卷积模块,并在编码器下采样的卷积层后引入注意力机制模块,让算法更好地探索分割对象特征,同时在编码器与解码器之间引入多尺度特征融合模块FPN.本文基于自制的咽后壁数据集,用于图像分割训练,并将训练后的BM-TransUNet网络与多种传统分割网络的效果进行对比.实验结果表明,相比于其他传统的深度学习模型,BM-TransUNet网络的识别方法具有较高的分类准确性和泛化能力,精确度Precision和Dice系数分别达到了93.61%和90.76%,显示出较好的计算效率,能有效地应用于分割任务.

改进的DDeepLabV3+语义分割网络

针对语义分割网络在移动智能化终端上存在参数量大、分割精度不足的问题,提出一种改进的DDeepLabV3+网络算法。首先,采用深度可分离的MobileNet结构作为网络的骨干部分,降低网络的参数量和复杂度,从而有效减少了运行时间。其次,引入网络的低级特征,实现多尺度信息融合,减少网络下采样引起的空间信息损失。最后,结合注意力机制设计网络ASPP结构,增强特征提取在实验中的利用。优化后的网络结构在保持较高分类准确性的前提下,计算时间显著减少。网络的平均交并比在Cityscapes和Camvid数据集中分别提升了2.37%和2.13%。