融合密集空洞注意力金字塔和多尺度的视网膜病变分割

针对糖尿病视网膜病变(DR)分割任务中病变区域多尺度特征难以学习、边界模糊等问题,提出一种改进的U型多病变分割模型DDAPNet。首先,对DR图像进行Patch处理,使模型更好地捕捉病变的局部特征;其次在主干特征提取后引入重新设计的密集空洞注意力金字塔(DDAP)模块,扩大感受野,解决病变边界模糊问题;同时采用金字塔切分注意力进行特征增强,然后将二者进行特征融合;最后在跳跃连接中嵌入改进的残差注意力模块,降低浅层冗余信息的干扰。在数据集和医院真实数据集上进行联合验证,实验结果表明,相较于基础模型,DDAPNet模型对微动脉瘤、出血点、软渗出DDR物和硬渗出物的分割在Dice系数上分别提高了4.31%、2.52%、3.39%、4.29%,在mIoU上分别提高了1.80%、2.24%、4.28%、1.98%。该模型对病灶边缘的分割更为连续和平滑,有效提升了软渗出物等视网膜病变的分割性能。

基于注意力金字塔与监督哈希的细粒度图像检索

大规模细粒度图像检索是一项极具挑战性的任务。由于图像间具有类间距离小、类内距离大的特点,传统的深度神经网络学习到的图像特征存在高度冗余,导致检索速度慢、存储成本高昂。为解决该问题,提出了一种基于注意力金字塔与监督哈希的深度神经网络模型。在特征提取网络中,针对细粒度图像的特点,采用了双通路金字塔结构,并设计了自上而下的特征通路及自下而上的注意力通路,借此更好地融合高层与低层特征。在分类网络中,为压缩存储空间、提高检索效率,在深度哈希的基础上使用tanh(x)代替sign(x)作为激活函数,使学习到的哈希函数更容易达到平稳分布;同时结合量化损失与分类损失,使生成的哈希码更好地与原始输入图像的特征匹配。在FGVC-Aircraft及Stanford Cars两个标准细粒度数据集上的准确率分别达到82.3%、83.3%,均优于其他对比算法,证明了算法的有效性。

基于金字塔注意力机制的遥感图像超分辨率网络

针对超分辨率算法重建的遥感图像细节等信息丢失的问题,为保证遥感重建图像包含较多的纹理、高频信息,在生成对抗网络基础上提出一种基于金字塔注意力机制的遥感图像超分辨率网络。设计了一种全新的金字塔双重注意力模块,包括通道注意力网络和空间注意力网络。通道注意力网络中采用金字塔池化取代平均池化和最大池化,该结构设计从全局和局部信息角度出发增强特征表述能力;空间注意力网络则采用大尺度卷积,以加强局部信息的提取程度,可有效提取纹理、高频等信息。设计密集多尺度特征模块,利用非对称卷积提取不同尺度的特征信息,通过密集连接融合多层级尺度特征以加强纹理、高频等信息的提取精度。在公开的NWPU-RESISC45数据集上进行实验验证,实验结果分析表明,该算法在主观视觉效果和客观评价指标上均优于对比方法,重建性能相对较好。

用于工业机器人的增强图注意力网络故障诊断算法

工业机器人的平稳运行是智能制造的核心需求。针对工业机器人运行数据中特征隐含和易受噪声干扰导致故障诊断准确率不足以及低效的问题,提出一种用于工业机器人的金字塔注意力增强的图注意力网络故障诊断方法;通过将数据转化为图结构,利用图注意提取的多尺度特征与金字塔注意力结合,提升单一故障和复合故障诊断的准确率与缩短其训练时间。实验平台采用某国产机器人设备,通过采集不同故障类型的反馈电流数据对诊断精度进行实验测试,与改进图注意网络(GATv2)、图卷积网络(GCN)、图切比雪夫网络(ChebyNet)等主流模型进行对比,结果表明,提出的模型可有效提升工业机器人故障诊断准确率和效率。

基于金字塔分割注意力网络的单目深度估计方法

针对目前单目图像在深度估计中依然存在边缘以及深度最大区域预测不准确的问题,提出了一种基于金字塔分割注意力网络的单目深度估计方法(PS-Net)。首先,PS-Net以边界引导和场景聚合网络(BS-Net)为基础,引入金字塔分割注意力(PSA)模块处理多尺度特征的空间信息并且有效建立多尺度通道注意力间的长期依赖关系,从而提取深度梯度变化剧烈的边界和深度最大的区域;然后,使用Mish函数作为解码器中的激活函数,以进一步提升网络的性能;最后,在NYUD v2(New York University Depth dataset v2)和iBims-1(independent Benchmark images and matched scans v1)数据集上进行训练评估。iBims-1数据集上的实验结果显示,所提网络在衡量定向深度误差(DDE)方面与BS-Net相比减小了1.42个百分点,正确预测深度像素的比例达到81.69%。以上表明所提网络在深度预测上具有较高的准确性。

基于特征金字塔注意力与深度卷积网络的多目标生猪检测

在生猪饲养环境中,猪只黏连、杂物遮挡等给生猪个体多目标检测带来很大困难。该研究以猪圈群养生猪为研究对象,以视频帧为数据源,提出一种适用于生猪形体检测的特征金字塔注意力(Feature Pyramid Attention,FPA)与Tiny-YOLO相结合的模型FPA-Tiny-YOLO。该模型将注意力信息融入到特征提取过程,在不大幅增加计算量的前提下即可提升特征提取能力、提高检测精度。对8栏日龄20~105 d的45头生猪视频截取图像进行图像处理,获得标注图片4102张,构建了4种深度FPA模块分别加入YOLOV3与Tiny-YOLO模型中。试验表明,深度为3的FPA模块(即FPA-3)的Tiny-YOLO模型在测试集上对群养生猪多目标检测的召回率Recall、F1与平均检测精度mAP指标值最佳,分别达到86.09%、91.47%和85.85%,比未引入FPA模块的Tiny-YOLO模型均有不同程度的提高。选用不同的IOU(Intersection Over Union)和score阈值超参数值对模型预测结果均有不同程度影响;将测试集图像按照是否黏连与遮挡划分4种场景来探究该模型的鲁棒性。试验表明,加入FPA-3模块后Tiny-YOLO的Recall、F1与mAP比Tiny-YOLO分别提升6.73、4.34和7.33个百分点,说明特征金字塔注意力信息有利于精确、有效地对不同场景群养生猪进行多目标检测。研究结果可为后续开展生猪身份识别和行为分析移动端应用提供参考。

基于金字塔拆分注意力的列车轮对踏面损伤诊断

为解决列车轮对踏面损伤诊断准确率低、速度慢和损伤样本少的问题,提出一种基于金字塔拆分注意力网络(EPSA-ResNet)的车轮对踏面损伤诊断模型。首先,采用迁移学习方法预训练ImageNet数据集,得到模型参数,然后将其迁移到轮对踏面损伤特征数据中,并进行微调,从而获得共享模型结构和参数;其次将ResNet-50残差块中的3×3卷积替换为一种金字塔拆分注意力(PSA)模块,得到新的EPSA-ResNet,融合空间和通道注意力多级别特征,自适应地进行特征重标定;最后通过Softmax分类器得到轮对踏面损伤情况的诊断结果。结果表明:该方法能够有效识别列车轮对踏面损伤状态以及周围环境间存在的局部细微差异,诊断精度可达99.79%,优于其他深度神经网络模型。

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。

基于分割注意力与线性变换的轻量化目标检测

为了满足目标检测的实时性和模型轻量化需求,提高目标检测精度,对YOLOv5中的特征融合模块进行优化,提出基于金字塔分割注意力与线性变换的轻量化目标检测算法PG-YOLOv5.利用金字塔分割注意力模块,捕获不同尺度特征图的空间信息以丰富特征空间,提升网络的多尺度特征表示能力,提高目标检测的精度.利用基于线性变换的GhostBottleNeck模块,以少量原始特征图与线性变换得到的特征图相结合的方式,有效减少模型参数量.算法的平均精度均值从YOLOv5L的81.2%提高到PG-YOLOv5的85.7%,PG-YOLOv5的参数量比YOLOv5L的下降了36%.将PG-YOLOv5部署到Jetson TX2,并编写目标检测软件.实验结果表明,基于Jetson TX2的目标检测系统的图像处理速度为262.1 ms/帧,PG-YOLOv5的平均精度均值为85.2%;与YOLOv5原始模型相比,PG-YOLOv5更适合边缘端部署.

结合特征融合和金字塔注意力的场景文本检测

基于深度学习的场景文本检测普遍缺少特征级的精细化,导致原本设计良好的模型不能被充分利用,提出将特征融合和特征金字塔注意力模块应用到场景文本检测。将基本特征提取网络(PixelLink算法)得到的4个特征映射层以采样后加权叠加的方式进行特征融合,并将结果送给特征金字塔注意力模块。特征融合使各层级的特征信息相结合,从而增加了特征映射层的信息量。采用注意力网络可以在增大感受野的同时不提高计算力,而空间金字塔结构可利用不同的网格尺度或不同的扩张率融合多尺度的特征信息。特征金字塔注意力模块包含精细化金字塔网络分支、非线性变换分支以及全局平均池化分支。实验结果表明,相较于PixelLink算法,该算法在ICDAR2015和ICDAR2013数据集上综合指标(F-measure,F)分别提升了2.91%和4.04%。

三维坐标注意力路径聚合网络的目标检测算法

针对YOLO系列算法在实际工业应用中存在对目标预测框定位不够准确,难以适用于对定位要求较高的现实场景的问题,提出了三维坐标注意力路径聚合网络的目标检测算法YOLO-T。首先,采用短连接方式对路径聚合特征金字塔的跨层特征进行融合,保留其浅层语义信息;其次,基于坐标注意力机制提出了三维坐标注意力(TDCA)模型,利用该模型对路径聚合特征金字塔内的特征进行注意力加权(TPA-FPN),保留有用信息和去除冗余信息;然后,改进了标签分配策略中简单最优传输分配(SimOTA)的损失矩阵计算方法,在保证不损失效率的同时增强了性能;最后,利用Depthwise Separable Conv改进了主干特征提取网络中的卷积模块使模型轻量化。实验结果表明:该算法在PASCAL VOC2007+2012数据集上,检测准确率mAP@0.50比YOLOX-S提高了1.3个百分点,mAP@0.50:0.95提高了3.8个百分点;在COCO2017数据集上平均检测精度mAP@0.50:0.95提高了2.4个百分点。

融合注意力机制及DenseASPP改进的DeeplabV3+遥感图像分割方法

由于遥感影像分辨率的提高,卷积层需要更大的感受野来捕获语义信息。DeeplabV3+模型在使用较大空洞率时会出现空洞卷积低效或失效的问题,同时该模型依靠卷积运算捕获的是局部信息,难以建立长距离依赖。为此,文章设计了一种基于DeeplabV3+的改进模型,在原模型中添加金字塔拆分注意力模块(pyramid split attention,PSA),通过金字塔结构,使网络关注关键信息,帮助模型提取像素级多尺度空间信息的同时建立长距离依赖关系。同时,将空间空洞金字塔池化模块(atrous spatial pyramid pooling,ASPP)替换为密集空间空洞金字塔池化模块(dense atrous spatial pyramid pooling,DenseASPP),帮助网络利用更多像素,获得更大感受野,得到更密集的特征金字塔,并避免了空洞卷积低效或失效的情况发生。为了验证模型效果,分别使用Vaihingen和WHDLD数据集进行实验。相较于原模型,该模型的MIoU提高了2.8%~0.9%,F1分数提高了2.1%~0.73%;通过与其他现有模型进行对比,该方法在分割效果上也有明显的提升。

基于注意力机制生成对抗网络的遥感图像增强算法

针对基于生成对抗网络(Generative Adversarial Network,GAN)的单幅遥感图像超分辨率(Super Resolution,SR)重建模型训练困难、重建图像细节或纹理与真实图像之间存在较大差异且存在伪影等问题,提出一种基于注意力机制GAN的遥感图像增强算法。在生成器上将金字塔拆分注意力模块与稠密残差块相结合,加强遥感图像的特征提取。在判别器中利用SN层替代BN层,增强图像在细节方面的学习。基于WGAN-GP理论优化对抗损失,加快收敛速度,生成高质量遥感图像。实验结果表明,提出的算法生成的遥感图像有较多的细节纹理且伪影更少。与现有的一些算法相比峰值信噪比平均提高了0.422~1.721 dB,结构相似性平均提高了0.016~0.092。

基于可逆金字塔和平衡注意力的工业裂缝分割

针对目前工业裂缝分割算法存在细小裂缝易丢失、孤立噪点难消除的问题,提出一种基于可逆金字塔和平衡注意力的工业裂缝分割网络(reversible pyramid and balanced attention network,RPBAN)。提出可逆金字塔模块,在编码器与解码器之间引入特征金字塔和改进后的倒-特征金字塔,加深全局特征与细节特征的融合,从而提升细小裂缝检测性能;在解码阶段引入平衡注意力模块,将平衡特征作为引导信息,有效消除孤立噪点;在学习阶段选取Focal Loss作为损失函数,控制正负样本在训练中所占的权重,使得模型更专注于裂缝样本。通过在自建的输配电线路瓷瓶裂缝数据集InsulatorCrack和三个具有挑战性的公开裂缝数据集CFD、CrackTree200和AEL上进行验证和测试,实验表明与其他基准方法相比,RPBAN提升了细小裂缝检测效果,有效消除了孤立噪点,能够实现更高精度的语义分割。在四个数据集上IoU分别达到61.42%、58.36%、64.45%、53.44%,说明了RPBAN的有效性和通用性。

用于实时语义分割的带孔金字塔注意力网络

针对语义分割任务需要足够大的感受野和空间细节问题,提出了一个带孔金字塔注意力(dilated pyramid attention,DPA)来增大网络的感受野和空间细节,并结合DPA提出了一个用于实时语义分割的带孔金字塔注意力网络(dilated pyramid attention network,DPANet)。在Cityscapes数据集和CamVid数据集上的实验验证了所提模块的有效性和网络的优越性,该网络在Cityscapes验证集上的平均交并比可达76.51%,在输入图片尺寸为1024×2048时网络速度可达49帧/s。

注意力机制在自然场景文字检测中的应用

针对目前主流的基于分割的文字检测方法中由于需要复杂的后处理过程保证检测精度,通常难以实现高检测速度的问题,提出一种应用位置注意力模块和金字塔注意力网络2种注意力机制的方法.首先用金字塔注意力网络对图像进行特征提取及语义分割;同时将位置注意力模块应用于高层特征,通过加强图像中相似物体的权重加强对文字的检测效果;最后进行简单有效的后处理,在实现较高检测准确度的前提下提高检测速度.实验结果表明,在Total-text数据集中,采用更轻量化的骨干网络时,所提方法在检测速度上优势明显;采用更深层的骨干网络时,所提方法的检测准确度领先2.0%.

基于多尺度轻量化注意力的钢材缺陷检测

针对当前YOLOv5算法检测钢材表面缺陷精度不高、速度慢等问题,提出一种基于多尺度轻量化注意力的YOLO-Steel钢材表面缺陷检测方法.首先,提出一种轻型通道注意力模块,仅需少量计算成本即可有效关注重要通道;然后,利用空洞卷积扩大感受提出一种轻型空间注意力模块,能够在空间维度上提取有价值信息;接着,提出金字塔注意力结构,利用多级池化放缩特征图在不同分辨率特征图上使用空间注意力模块学习其空间依赖信息,对多级特征图使用通道注意力模块重构其通道相关信息,改善检测效果.实验结果表明, YOLO-Steel在钢材表面缺陷数据集上平均精度均值(mAP)可达77.2%,比YOLOv5s算法提高1.8%,模型时间、空间复杂度与YOLOv5s基本持平,在保证检测速度的基础上能够有效提高精确度.

小样本下基于改进度量学习的轨面状态识别

为解决小样本下轨面状态识别过程中存在的关键特征信息提取不充分、区分度信息易丢失的问题,提出一种基于改进度量学习的轨面状态识别方法。该方法在特征提取网络部分引入金字塔拆分注意力机制,实现特征图空间信息多尺度提取、跨维度通道注意力与空间注意力特征交互,以解决轨面状态样本少导致的关键特征信息提取不充分的问题。利用深度局部拼接符对查询集与各类支撑集特征图进行局部特征两两拼接,代替传统度量学习的全局特征拼接,筛选背景等干扰信息,较大程度地保留有显著区分度的特征信息。在自建小样本轨面状态数据集上进行性能验证,并与常规小样本学习方法进行对比实验,实验结果表明,本文方法能够有效识别轨面状态,识别准确率、精度、召回率、F1值分别达到97.96%、98.61%、98.07%、98.34%,相比于性能较好的小样本学习方法 DN4网络,各项指标分别提升了5.75个百分点、5.83个百分点、5.95个百分点、5.89个百分点。

双分支金字塔网络的微光图像增强算法

针对微光图像存在亮度低、细节丢失严重以及现有算法增强后的微光图像存在曝光过度、颜色失真等问题,提出双分支金字塔网络的微光图像增强算法。首先,将微光图像从RGB颜色空间转换到HSV颜色空间。其次,对V分量采用双分支金字塔网络的微光图像增强算法,自适应获取图像特征。网络结构由并行双分支构成,含层级残差模块的分支有效增强V分量亮度,含特征金字塔注意力模块的分支获取深层特征信息。最后,对双分支结构提取的信息进行融合,并将增强后的图像从HSV颜色空间转换回RGB颜色空间。所提算法在真实图像上的峰值信噪比及结构相似度的均值分别达到29.451 dB和0.9301,均高于其他对比算法。实验结果表明,所提算法对V分量进行增强提高了图像亮度,有效地恢复了图像细节。

基于Deepcrack网络的混凝土裂缝检测方法

混凝土结构裂缝对建筑安全构成了极大的潜在威胁,裂缝检测对建筑结构的维护具有重要意义,当前基于深度学习的裂缝检测针对提取裂缝细节的能力仍有待提高。因此,该文对Deepcrack网络进行优化,提出了基于金字塔分割注意力和全局上下文的混凝土裂缝检测算法PG-Deepcrack。首先,在编码器中提出双卷积-注意力并行模块,增加金字塔分割注意力分支为卷积层提供更丰富的多尺度裂缝信息;其次,为了捕获长距离依赖关系,并行模块操作后引入全局上下文模块,进一步提升网络对裂缝细节的表达能力;最后,在特征融合阶段利用全维动态卷积和GELU激活函数,对编解码器特征层联级融合,使网络更全面地保留不同尺寸的裂缝信息并提高模型的泛化性能。为验证网络模型的有效性,在Deepcrack数据集上与7个网络模型进行对比试验,所提出的网络表现了最佳性能,IoU达到了72.78%。