结合坐标注意力与生成式对抗网络的图像超分辨率重建

针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VGG式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整Dropout加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-Net结构构造判别器,输出详细的逐像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集Set5和Set14上取得的峰值信噪比平均提高了1.75 dB,结构相似性平均提高了0.038,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。

基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型

针对道路场景下红外目标遮挡、缺乏纹理细节而导致目标误检、漏检的问题,提出一种基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型(MSC-YOLO)。以YOLOv7-tiny作为基线模型,首先,在MobileNetV3的不同中间特征层引入多尺度金字塔模块PSA(Pyramid Split Attention),设计一种多尺度特征提取的轻量化主干提取网络MSM-Net(Multi-Scale Mobile Network),解决固定大小卷积核造成的特征污染问题,提高对于不同尺度目标的细粒度提取能力;其次,在特征融合网络融入加权坐标注意力(WCA)机制,叠加从中间特征图垂直和水平空间方向上获取的目标位置信息,增强目标特征在不同维度上的融合能力;最后,替换定位损失函数为高效交并比(EIoU),分别计算预测框和真实框的长、宽影响因子,提高收敛速度。在Flir数据集上进行验证实验,与YOLOv7-tiny模型相比,在mAP(IoU=0.5)仅降低0.7个百分点的前提下,MSC-YOLO的参数量减少67.3%,浮点运算次数减少54.6%,模型大小减小60.5%,帧率在RTA 2080Ti上达到101,在检测性能和轻量化上达到平衡,满足红外道路场景的实时检测需求。

基于坐标注意力关系网络的小样本轴承故障诊断

轴承故障诊断对保障机械设备正常运转具有重要价值,基于机器学习的轴承故障诊断是其中一类常用方法,主要包括Alexnet、Resnet-18、关系网络、基于通道注意力SENet的关系网络(SERN)以及基于混合注意力CBAM的关系网络(CBRN)等.在实际应用中,小样本、变工况等可能导致这些方法出现泛化性能差、精度降低及过拟合等问题.本文提出了一种基于坐标注意力关系网络的小样本轴承故障诊断方法 .在该方法中,坐标注意力关系网络通过坐标信息的嵌入和坐标注意力的生成来解决关系网络模型无法建立特征图的长距离依赖关系及故障的特征位置信息难以获得的问题,增强模型在目标区域对故障特征的表达,进而重构出更具判别性的故障样本特征.该方法还采用特征嵌入模块来生成样本的特征向量,并通过对已标记样本和未标记样本的特征向量的拼接来生成特征向量组.最后,该方法利用关系得分模块对特征向量组进行非线性距离度量和生成关系得分,判断未标记样本的类别、实现故障分类.模拟实验表明,相比已有方法,该方法具有更好的分类能力.

融合坐标注意力机制的YOLOv3肺结节检测算法

肺结节在CT(Computed Tomography)图像中所占像素较少,增加了检测难度。针对肺结节小目标检测问题,文中提出了融合坐标注意力机制的YOLOv3(You Only Look Once version 3)肺结节检测算法。主干网络采用改进YOLOv3,减少残差块数量并引入扩张卷积模块,并可从目标周围感知上下文信息。在特征利用部分引入坐标注意力机制,捕捉肺结节位置、方向和跨通道信息,精确定位肺结节。改进YOLOv3的损失函数,将边界框建模成高斯分布,利用Wasserstein距离来计算两个分布之间的相似度代替IoU(Intersection over Union)度量,提升模型对目标尺度的敏感性。在LUNA16数据集上的结果显示,肺结节检测的平均精度为89.96%,敏感性为95.37%,与主流目标检测算法相比,精度平均提升了11.33%,敏感性平均提升了9.03%。

基于坐标注意力脉冲神经网络的注视估计方法

针对传统相机在拍摄人眼运动时易产生动态模糊、时间分辨率低等问题,采用事件相机近眼拍摄构建Spiking-Eye数据集,并提出一种坐标注意力的脉冲神经网络模型(CA-SpikingRepVGG)。模型读取编码后的事件数据,经过带坐标注意力的主干网络进行特征提取,最后馈入检测头进行检测。实验结果显示:CA-SpikingRepVGG的平均检测精确率R_(P)达到了70.8%,与SpikingVGG-16比较,该模型的R_(P)提高了15.9%,召回率R_(r)提高了14.2%;仅需SpikingDensenet模型1/3的训练时间,比其R_(P)提高1.8%、R_(r)提高0.9%。结果表明:该模型在针对眼球运动这一场景下对人眼的检测追踪能力更强,可以很好地完成注视估计任务。

基于坐标注意力的杂乱环境中机器人推抓协同学习

为提升机器人在杂乱环境中推抓协同性能、增强网络感知物体位置和物体间的位置信息的能力,提出一种基于物体位置信息的推动与抓取协同网络来解决机器人在杂乱环境中的抓取问题。该网络使用2个全卷积网络分别从视觉观察中推断出抓取和推动操作的位置与方向。使用坐标注意力模块分别沿着二维空间的2个方向聚合特征,即在水平空间方向上捕获长距离依赖关系的同时在垂直空间方向上保持物体的位置信息。然后生成推动和抓取的位置特征的注意力图,以提升网络推断操作位置的准确性。提出物体分散度从全局角度衡量环境中物体间的分散程度,并设计基于物体分散度的推动奖励函数来提升推动动作的质量。在仿真实验中,该网络的抓取成功率和动作效率分别为75.1%和73.2%。在现实世界中,该网络的抓取成功率和动作效率分别为80.1%和76.2%。

数字信号调制识别下坐标注意力机制方案研究

针对低信噪比下神经网络难以提取数字信号空间特征的问题,提出一种基于坐标注意力机制的数字信号识别方案。将8种数字信号进行正交调制,根据其幅度、相位信息序列进行预编码处理,在不同的训练步长下,提取分析数字信号幅度和相位的关键特征,选取合适的神经网络超参数,使网络达到拟合面。坐标注意力机制将数字信号特征进行2个一维特征编码,分别沿纵向和横向捕获幅度和相位的远程依赖关系;将生成的数字信号特征编码为一对方向感知和位置敏感的权重系数,进行数字信号特征的重标定。仿真结果表明,8种数字信号下,调制方式识别率高于95%时,卷积神经网络(Convolutional Neural Network,CNN)中坐标注意力机制信噪比增益约为4 dB,残差神经网络中坐标注意力机制信噪比增益约为8 dB。坐标注意力机制取得了较高的识别率以及更好的信噪比增益,与通道注意力机制、空间注意力机制相比更适用于数字信号解调的应用。

基于坐标注意力机制和残差网络的苹果外观品质检测

随着机器视觉技术的发展,利用卷积神经网络实现苹果品质分级已成为较优的应用技术。本研究以苹果外观品质特征为对象,提出了一种基于残差神经网络和坐标注意力机制的苹果品质检测方法。实验结果显示,引入坐标注意力机制后的Res Net18网络模型平均准确率达到91.4%,损失值为0.1。该方法在各项性能上优于ResNet18、34、50网络模型,能够有效实现苹果品质分级。

基于多尺度与坐标注意力机制的交通标志识别研究

针对智能交通识别系统需要具备较高的检测速度和识别精度的要求,在YOLOv4-tiny算法的基础上提出一种基于多尺度与坐标注意力机制融合的改进型轻量化YOLOv4-3RSCtiny算法。首先将主干网络中的Resblock_body模块改进为参数量更少的ResblockD轻量化模块,用于提高算法的检测速度;其次引入特征金字塔池化网络,丰富深层特征图的空间信息,在预测阶段引入坐标注意力机制,降低背景信息的干扰;最后利用具有多次跨级融合的路径增强特征金字塔网络,提高算法对小型目标物体的识别率。在TT100K数据集上进行测试,实验结果表明,相较于YOLOv4-tiny算法,YOLOv4-3RSCtiny算法具有较高的准确性和较好的实时性。

基于坐标注意力机制融合的反无人机系统图像识别方法

反无人机系统是识别和打击“黑飞”无人机的有效手段,图像识别无人机是反无人机系统的关键之一。针对采集的无人机样本属于小样本、提取特征不够多,识别准确率不够高的问题,提出了一种基于迁移学习、密集卷积网络和坐标注意力机制融合的反无人机系统图像识别方法。首先,运用自制设备采集了多种无人机在不同背景下的图片,建立数据样本;其次,设计针对无人机小样本识别的基于迁移学习、坐标注意力机制和密集卷积网络融合的网络TL-CA4-DenseNet-121、基于通道注意力机制融合的网络TL-SE4-DenseNet-121等网络,运用设计的网络对小样本进行识别,并进行对比,然后分别进行了基于不同位置和不同个数的坐标注意力模块和通道注意力模块的网络识别实验;最后,将识别效果最优的网络与经典卷积神经网络模型进行对比实验。实验结果表明,提出的TL-CA4-DenseNet-121网络识别效果优于其他网络,识别的平均准确率为97.93%,F1-Score为0.982 6,网络训练时间为6 832 s。结果表明了该网络在识别小样本无人机方面的优越性和可行性。

基于选择性坐标注意力的SAR图像舰船目标检测

针对SAR(Synthetic Aperture Radar)图像舰船目标检测结果虚警率和漏检率较高的问题,本文提出一种基于选择性坐标注意力机制的舰船目标检测算法.该算法以新的选择性坐标注意力机制为基础,首先通过不同卷积核的特征提取分支对舰船目标进行特征提取;然后融合所有分支的特征,并沿融合后特征的不同空间方向进行编码形成两个一维特征向量,以捕获空间方向上特征的位置信息;最后利用这一对方向和位置敏感的特征向量编码形成“门”机制,对各分支不同大小感受野提取的特征选择性地加权融合,以增强舰船目标的特征表示.本文以SSD(Single Shot MultiBox Detector)作为基础检测算法首先在SSDD(SAR Ship Detection Dataset)数据集上进行实验,实验结果表明,选择性坐标注意力机制相较于其他注意力机制能有效提升网络模型对舰船目标的检测能力,同时,基于选择性坐标注意力机制改进的SSD舰船目标检测算法平均检测精度达到了94.20%,较原SSD算法提升了4.45%.此外,通过在其他两个舰船数据集上的进一步测试,反映改进算法具有较好的泛化性,其综合性能优于其他对比目标检测算法.

混合坐标注意力与改进空间金字塔池化融合的物体位姿估计

在物体杂乱放置非遮挡和遮挡构成的复杂场景下,针对位姿实时、准确和稳定地估计的问题,提出了混合坐标注意力与改进空间金字塔池化融合的目标位姿估计算法。搭建了由坐标特征、通道特征和空间特征组成的混合坐标注意力残差模块,有效提高了关键点估计的准确率。改进了空间金字塔池化网络,并通过颈部位置的多尺度特征细化方法,获得边缘姿态及空间位置的高精确估计。将所制作的遮挡数据集,进一步验证所提出算法性能和泛化能力。在公开LineMod及Partial Occlusion遮挡数据集上,所提算法与基于组特征注意力(SA)算法相比ADD指标分别提高2.26%和2.57%,5cm5°指标分别提高5.16%和4.1%,达到了30 fps实时处理速度,为遮挡等复杂场景下的物体位姿估计提供一个有效的方法。

结合坐标注意力与自适应残差连接的logo检测

Logo检测在品牌识别和知识产权保护等领域有着广泛的应用.针对logo检测中存在小尺度logo检测性能差和logo定位不准的问题,本文提出一种基于YOLOv4网络的logo检测方法,将YOLOv4网络PANet模块中的5个连续卷积层用设计的自适应残差块替换,增强浅层和深层的特征利用,有侧重地进行特征融合,同时优化网络训练;并在自适应残差块之后使用坐标注意力机制,通过精确的位置信息对通道关系和长期依赖性进行编码,从融合的特征中过滤和增强对于检测更有用的特征;最后采用K-means;聚类算法得到更适合logo数据集的先验框,并分配给不同的特征尺度.实验结果表明,本文提出的方法在FlickrLogos-32和FlickrSportLogos-10数据集上的平均精度达到了88.09%和84.72%,较原算法分别提高了0.91%和1.40%,在定位精度和小尺度logo检测上的性能都显著提升.

基于坐标注意力生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建模型参数过大,难以在现实中应用的问题,提出了一种单图像超分辨率重建模型——基于坐标注意力机制的生成对抗网络(Generative Adversarial Network Based on Coordinate Attention Mechanism,CSRGAN).通过优化在SRGAN的生成器,将坐标注意力机制与残差网络相结合构造CR模块,促进通道之间信息的流通,并加强了网络的特征选择能力;同时在主网络构建了层次化特征融合结构,提高在深层网络中对早期特征的利用,大量的长短跳连接缓解了梯度消失,提高了网络收敛速度.在Set5、Set14、BSD100和Urban100数据集上与RFB-ESRGAN、ESRGAN等模型进行测试,在峰值信噪比(PSNR)和结构相似度(SSIM)都有所提高,同时模型参数量有极大减少,重建的图像在清晰度、结构完整性等方面都有所提高.

基于改进坐标注意力和U-Net神经网络的淡水养殖区提取

针对淡水养殖区空间分布零碎以及样本数量不均衡等因素造成淡水养殖区提取不准确的问题,该研究提出了一种基于U-Net(U-shaped Network)的改进模型,制作了Landsat淡水养殖区动态监测的数据集,增加高、低维特征融合的坐标注意力机制提高模型的提取精度,构建多尺度特征学习更多位置信息,引入focal tversky loss损失函数提升零碎养殖区的识别率,实现1985—2021年研究区淡水养殖区的精确提取,分析近36年研究区淡水养殖区时空变化情况。结果表明:1)2021年淡水养殖区提取效果良好,改进后的模型总体分类精度为0.947,准确率为0.926、召回率0.966、F1分数0.946,均交并比0.899、Kappa系数为0.894,与其他模型相比,总体分类精度、Kappa系数大幅提升。2)1985—2021年,研究区淡水养殖区大致经历起步扩张、急速扩张、轻微萎缩3个阶段:1985—2000年研究区淡水养殖面积持续增加,总面积由1985年0.48km^(2)增长至2000年36.92km^(2),年度增加量大于1km^(2)且小于5km^(2);2000—2017年淡水养殖区面积急速增加至234.47km^(2),年度增加量大于5km^(2);2021养殖区面积209.58km^(2),2017—2021年养殖区面积减少了24.89 km^(2),转出的淡水养殖区多为建设用地所取代。综上,改进的模型具有较高的识别精度,该研究可以为淡水养殖区的提取提供参考,为水产养殖业的科学化管理提供信息依据。

融合坐标注意力和自适应特征的YOLOv5陶瓷膜缺陷检测方法

针对平板陶瓷膜表面缺陷实时检测时存在检测准确率较低的问题,本文提出了一种融合坐标注意力和自适应特征的YOLOv5陶瓷膜缺陷检测方法。通过在原有YOLOv5模型的主干网络中加入坐标注意力机制,建立位置信息和通道之间的关系,从而更准确地获取感兴趣区域。在原始网络的预测网络中融入自适应特征融合机制,提高模型对多尺度缺陷的检测能力。将空洞空间卷积池化金字塔模块替换原始网络中的空间金字塔池化模块,提高卷积核视野获取更多的有用信息。实验结果表明:本文模型平均精度为97.8%,检测帧数为32 FPS,平均精度与原始YOLOv5模型相比提高了5.5%。本文提出的模型在满足平板陶瓷膜缺陷的实时检测条件下,提高了模型的检测准确率,对推动平板陶瓷膜缺陷检测的发展具有一定的参考价值。

基于坐标注意力机制和残差网络的水稻叶片病虫害识别

【目的】针对在自然条件下水稻叶片病虫害的识别效率不高、准确率较低的问题,探索基于ResNet深度学习网络的水稻叶片病虫害识别模型(ResNet50-CA)。【方法】在ResNet-50的残差卷积模块下引入坐标注意力机制(CA),采用LeakyReLU激活函数替代ReLU激活函数,使用3个3×3的卷积核替换ResNet-50模型首层卷积层中的7×7卷积核。【结果】在使用传统卷积神经网络进行水稻叶片病虫害研究发现,ResNet-50能够较好地平衡识别准确率和模型复杂度之间的关系,因此选择在ResNet-50网络模型的基础上加以改进。使用改进后的网络通过微调参数进行水稻叶片病虫害对比性能试验,研究发现在批量样本数为16和学习率为0.0001时,ResNet50-CA获得最高的识别准确率(99.21%),优于传统的深度学习算法。【结论】改进后的网络能够提取出水稻病虫害更加细微的特征信息,从而取得更高的识别准确率,为水稻叶片病虫害识别提供新思路和方法。

基于残差坐标注意力的人脸表情识别

针对以往的通道注意力忽略了面部图像中蕴含的坐标信息特征的问题,提出了一种融合坐标信息的人脸表情识别模型。该模型以残差网络(residual network,Resnet)为基础,在网络中嵌入坐标注意力机制,通过在通道注意力中捕获坐标信息辅助生成注意力权重,使得注意力机制不仅考虑不同通道之间的特征,也考虑图像坐标信息和形状特征,进而提高人脸表情识别的准确度。结果表明,该模型在FER2013和CK+表情识别数据集上的准确率分别为74.20%和94.55%,效果优于现有诸多主流方法,在人脸表情识别任务上获得了较优的性能。

坐标注意力特征金字塔的显著性目标检测算法

显著性目标检测旨在获取图像中的视觉显著目标,是计算机视觉领域的重要研究内容。相比传统手工提取特征的方法,基于全卷积神经网络的方法已在这一领域展现出强大优势。然而,显著性目标检测仍然存在一些问题。复杂场景下,背景中可能存在一些易被误判为显著目标的噪声,导致检测性能下降。另外,当显著目标轮廓较为复杂时,边界像素点的检测也变得较为困难。为了解决这些问题,提出一种坐标注意力特征金字塔的显著性目标检测算法。采用基于特征金字塔的网络结构,提取显著目标中不同层次的特征,并设计特征细化模块以实现不同层次特征的有效融合。为解决背景误判问题,采用坐标注意力模块,增大显著性区域权重的同时,抑制背景噪声。对于边界复杂问题,设计边界感知损失函数并结合多层次监督方法,帮助网络更加关注边界像素点,生成边界清晰的高质量显著图。在五个常用显著性目标检测数据集上的实验结果表明,该算法在五种评价指标上均取得较优的检测结果。

基于坐标注意力的轻量级交通标志识别模型

针对交通标志识别模型检测速度与识别精度不均衡,以及受遮挡目标和小目标难以检测的问题,对YOLOv5模型进行改进,提出一种基于坐标注意力(CA)的轻量级交通标志识别模型。首先,通过在主干网络中融入CA机制,有效地捕获位置信息和通道之间的关系,从而更准确地获取感兴趣区域,避免过多的计算开销;然后,通过在特征融合网络中加入跨层连接,在不增加成本的情况下融合更多的特征信息,提高网络的特征提取能力,并改善对遮挡目标的检测效果;最后,引入改进的CIoU函数计算定位损失,以缓解检测过程中样本尺寸分布不均衡的现象,并进一步提高对小目标的识别精度。在TT100K数据集上应用所提模型时,识别精度达到了91.5%,召回率达到了86.64%,与传统的YOLOv5n模型相比分别提高了20.96%和11.62%,且帧处理速率达到了140.84 FPS。实验结果比较充分地验证了所提模型在真实场景中对交通标志检测与识别的准确性与实时性。