融合密集空洞注意力金字塔和多尺度的视网膜病变分割

针对糖尿病视网膜病变(DR)分割任务中病变区域多尺度特征难以学习、边界模糊等问题,提出一种改进的U型多病变分割模型DDAPNet。首先,对DR图像进行Patch处理,使模型更好地捕捉病变的局部特征;其次在主干特征提取后引入重新设计的密集空洞注意力金字塔(DDAP)模块,扩大感受野,解决病变边界模糊问题;同时采用金字塔切分注意力进行特征增强,然后将二者进行特征融合;最后在跳跃连接中嵌入改进的残差注意力模块,降低浅层冗余信息的干扰。在数据集和医院真实数据集上进行联合验证,实验结果表明,相较于基础模型,DDAPNet模型对微动脉瘤、出血点、软渗出DDR物和硬渗出物的分割在Dice系数上分别提高了4.31%、2.52%、3.39%、4.29%,在mIoU上分别提高了1.80%、2.24%、4.28%、1.98%。该模型对病灶边缘的分割更为连续和平滑,有效提升了软渗出物等视网膜病变的分割性能。

基于金字塔注意力机制的遥感图像超分辨率网络

针对超分辨率算法重建的遥感图像细节等信息丢失的问题,为保证遥感重建图像包含较多的纹理、高频信息,在生成对抗网络基础上提出一种基于金字塔注意力机制的遥感图像超分辨率网络。设计了一种全新的金字塔双重注意力模块,包括通道注意力网络和空间注意力网络。通道注意力网络中采用金字塔池化取代平均池化和最大池化,该结构设计从全局和局部信息角度出发增强特征表述能力;空间注意力网络则采用大尺度卷积,以加强局部信息的提取程度,可有效提取纹理、高频等信息。设计密集多尺度特征模块,利用非对称卷积提取不同尺度的特征信息,通过密集连接融合多层级尺度特征以加强纹理、高频等信息的提取精度。在公开的NWPU-RESISC45数据集上进行实验验证,实验结果分析表明,该算法在主观视觉效果和客观评价指标上均优于对比方法,重建性能相对较好。

基于注意力密集连接金字塔网络的新增建设用地变化检测

城市新增建设用地变化迅速频繁、场景复杂等因素导致变化检测结果出现欠分割或过分割等问题,基于此本文提出了一种融合注意力机制的密集连接金字塔网络用于城市新增建设用地变化检测。在编码阶段运用卷积注意力模型提升对变化信息的关注度,突出重要特征;采用密集连接空洞卷积空间金字塔池化模块实现多尺度特征的提取与融合,提高特征的利用率与传播效率;在解码阶段通过对提取的特征图进行上采样还原图像的空间尺度特征。试验结果表明,该方法有效改善了欠分割与过分割问题,变化检测效果更好。

融合金字塔和注意力机制的文物子图检索模型

随着中国文化研究工作的深入以及数字化文物采集技术的发展,文化资源数据和文化数字内容的数量也随之增长,如何对文化数据进行有效存储、管理以及检索成为一项重要的工作。针对文物图像数据检索任务中因尺度变化和特征选择造成检索精度不高的问题,提出了一种融合折叠多空洞金字塔池化和注意力机制的文物子图检索模型。模型为提高不同尺度的文物子图检索精度,通过在图像特征提取模块使用优化后的折叠多空洞金字塔池化提取图像的多尺度信息;为避免密集局部特征和无关特征影响检索准确率,使用注意力机制对局部特征进行关键特征选择。最后在所构建的文物数据集上进行了消融实验和性能对比实验,实验结果取得了良好的效果,mAP达到85.3%。

基于空洞空间金字塔池化和多头自注意力的特征提取网络

针对深度学习在图像处理领域中多尺度特征提取能力弱、特征内部信息捕获能力差的问题,提出了一种基于空洞空间金字塔池化和多头自注意力的特征提取网络(PPSANet)。首先,引入小扩张率的空洞卷积对空洞空间金字塔池化(ASPP)模型进行改进,提高局部特征信息的感受野;其次,将改进的ASPP模型合并到残差网络(ResNet)的每个残差块中,使网络在多个维度上都具有多尺度特征提取能力;最后,将残差网络的底层残差块替换为多头自注意力(MHSA),增强网络特征学习能力,捕获数据和特征内部的相关性。图像分割实验中,与残差网络相比,在肺结节数据集中DICE相似系数(DICE)提升了5.16个百分点,肝癌数据集中DICE提升了5.22个百分点;目标检测实验中,与残差网络相比,平均精度均值(MAP)提升了2.9个百分点。实验结果表明,PPSANet能够有效解决图像处理中多尺度特征提取能力弱和内部信息捕获能力差的问题,在一定程度上提高了图像处理的能力。

融合注意力模块的双结构金字塔场景解析网络

【目的】改善原始图像信息丢失及图像分辨率下降的问题,提高图像语义分割的精度。【方法】提出融合注意力模块的双结构金字塔场景解析网络模型,并利用该模型对图像进行语义分割。首先,使用MobileNet V2模块提取原始图像的主干特征;其次,将特征图送入金字塔池化模块1中,获取上下文信息;然后,使用注意力模块关注重要特征,并对浅层信息进行综合,得到中间特征图;接着,将中间特征图送入金字塔池化模块2,融合局部和全局信息;最后,利用丰富的浅层和深层信息对原始图像进行分割。【结果】在PASCAL VOC 2007数据集上进行的试验表明,平均像素精度和平均交并比分别达到85.64%和78.12%,比金字塔场景解析网络的分别提高了4.95个百分点和12.31个百分点。【结论】本文模型有效解决了图像分割中信息丢失和分辨率下降问题。

坐标并行注意力下密集空洞卷积的脉络膜分割

脉络膜的变化与很多眼科疾病密切相关。医生在诊断过程中常需要手动分割光学断层扫描图像(Optical Coherence Tomography,OCT)中的脉络膜,再定量分析脉络膜健康状况,但人工分割费时费力。脉络膜自动分割难点在于OCT图像中脉络膜下边界模糊,很难捕捉上下文信息,并且脉络膜结构跟视网膜结构比较类似,容易混淆。为了解决该难点,本文提出了融合坐标并行注意力模块和密集空洞卷积模块的残差编解码模型;设计了一种桥结构,包含了注意力机制和空洞卷积,在增加模型感受野的同时抑制浅层噪声;同时为了使模型关注脉络膜结构信息,引入了一种包含结构相似性的混合损失函数来训练模型。实验结果表明,该模型能有效提升对脉络膜的分割精度,在OCT脉络膜数据集上,Dice系数和Jaccard相似度达到了97.63%和95.28%。

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

共享核空洞卷积与注意力引导FPN文本检测

高分辨率图像具有特征尺度差异较大的特点,针对其造成的细粒度特征难以捕获、多尺度特征融合不佳问题,提出一种共享核空洞卷积与注意力引导(Kernel-Sharing Dilated Convolutions and Attention-guided FPN,KDA-FPN)的复杂场景文本检测方法;提出最小交集(Intersection Over Minimum,IOM)后处理策略,改善因文本长宽比变化较大特性导致的掩膜重叠现象,提升检测效果。首先,模型以Resnet50为主干网络采用FPN结构捕获多尺度特征;然后,利用空洞卷积扩大特征感受野,提高特征信息的多尺度捕获能力,深层次挖掘文本细粒度特征,并通过共享核手段减少模型参数量,降低计算成本;同时,采用上下文注意模块(Context Attention Module,CxAM)捕捉多感受野间的语义信息关系,通过内容注意模块(Content Attention Module,CnAM)精确定位目标位置信息,增强多尺度融合能力,提升特征图质量;最后,将同一文本区域预测的候选框按大小排列,提出将面积最大的框与相邻文本框之间区域的交集面积占较小框面积的比值作为候选框筛选指标,抑制检测结果的掩模重叠现象,实现文本的精准检测。采用ICDAR2013、ICDAR2015、TotalText数据集进行对比实验,实验结果表明,本文模型对于水平场景文本检测的精度和召回率分别为95.3和90.4;对于倾斜文本检测的精度和召回率分别为87.1和84.2;对于任意形状文本检测的精度和召回率分别为69.6和57.3。提出的算法有效克服了图像分辨率、文本形状与长度等因素的影响,提高了检测精度,得到了更为精准的文本边界。

基于双重注意力融合和空洞残差特征增强的场景文本检测

针对自然场景中任意形状文本容易漏检、错检的问题,提出了一种基于双重注意力融合和空洞残差特征增强的场景文本检测方法。为了增强文本特征通道之间的潜在联系,提出了双重注意力融合(DAF)模块,采用双向特征金字塔与双重注意力融合模块相结合的方式进行多层的特征融合;另外针对深层特征图在降维的过程中可能造成语义丢失的现象,提出了空洞残差特征增强(D-RFA)模块。通过在弯曲文本数据集CTW1500上的测试表明,该方法的准确率、召回率和F值分别达到了87.8%、84.2%和86.0%,同时在多方向文本数据集ICDAR2015上也有良好的表现,证明了该方法在各种形状文本检测上的有效性。

结合残差与双注意力机制的U-Net语音增强方法

针对U-Net语音增强网络深层特征提取能力不足,以及编解码过程中特征信息丢失问题,提出一种结合残差与双注意力机制的DA-Res-Unet语音增强方法。将U-Net编解码部分设计为残差结构来深化网络,增强深层特征提取能力;在网络结构中构造双注意力机制,减少时频特征提取中的细节信息丢失;在网络中融入空洞空间金字塔池化结构,在低参数量情况下融合不同尺度上下文背景信息,提高模型特征捕获能力。实验结果表明,DA-Res-Unet网络模型在可见噪声测试集上的PESQ、STOI和LSD这3种评测指标取得了不同程度的提升,在未知噪声测试集上具备一定优势。

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络。在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声。实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7%~12.1%的性能提升。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于空洞卷积与注意力模块的立体匹配算法

基于卷积神经网络的立体匹配算法大多需要较大的感受野,但多数算法在扩大感受野的同时参数量也容易剧增,导致算法对训练数据的规模要求较高。提出一种基于空洞卷积和注意力模块的立体匹配算法,采用空洞卷积模块,将残差结构和空洞卷积相结合,以在较少参数量的情况下扩大网络的感受野。使用注意力模块,通过不同层次的卷积整合多层次的信息,增加所提取信息的完整性。采用空间金字塔池化模块,通过帯权的金字塔池化扩大模型的感受野,并赋予不同层次信息不同的重要性程度。实验结果表明,在相同数据集和训练次数的情况下,所提算法相对于DispNetC等其他算法具有较快的收敛速度,且结构简单,参数量较少,适用于小样本数据。

基于双特征提取和注意力机制的图像超分辨率重建

针对图像超分辨率重建过程中忽略图像高频特征,导致特征提取不充分,重建图像纹理细节模糊的问题,提出了一种基于双特征提取和注意力机制的图像超分辨率重建方法。首先,该方法采用双分支网络进行特征提取,以解决图像重建过程中高频特征和多尺度特征无法有效提取和一致融合的问题;其次,为了使网络提取到更加精确的高频特征,提出了局部空间注意力模块,并与通道注意力模块结合构建残差融合注意力模块,提高网络对高频特征的定位能力;最后,设计了空洞金字塔模块,扩大网络感受野,使网络多尺度提取特征。在4个基准数据集上的测试结果表明:尤其是超分辨率倍数为4时,所提方法较目前若干主流模型中的最佳峰值信噪比分别提升了0.16,0.08,0.03,0.20 dB,所提方法在视觉效果和定量分析方面均有较好提升。

基于多尺度注意力机制网络的玉米害虫识别方法

玉米是我国主要的农业粮食作物,害虫严重影响其产量和质量。为快速、准确地识别玉米害虫,针对现有卷积神经网络识别方法需要大量数据集和关键特征易丢失等问题,提出一种基于多尺度注意力机制网络(MCANet)的玉米害虫识别方法。首先,该方法采用空间金字塔循环(SPR)模块提取不同害虫图像的类型和位置信息;其次,在特征融合模块中引入多级通道注意力机制模块,以保障高维语义信息与低维特征的有效融合;同时将多尺度空洞卷积模块引入多级通道注意力网络模型,构建多尺度多通道注意力网络模型,来提取多尺度判别特征,提高模型的识别效率;最后,在1个较小的玉米害虫图像数据集上进行试验,实现对玉米红缘灯蛾、叶夜蛾、玉米黏虫、玉米螟害虫的识别,当训练样本与测试样本之比为90∶10时,玉米害虫识别准确率高达91.60%,与多尺度残差神经网络(MSRNN)、改进卷积神经网络(ICNN)、VGG-ICNN、轻量级CNN(LWCNN)相比,识别率分别提高24.40、18.77、8.00、4.40百分比。结果表明,该方法在小训练样本集中具有较强的鲁棒性和较高的识别率,为农作物病虫害智能化防治提供技术支持。

融合上下文信息和注意力机制的行人检测算法

针对复杂交通场景下行人特征信息提取不完整、检测精度不高的问题,提出一种基于YOLOv5网络改进的融合上下文信息和注意力机制的行人检测算法——YOLOv5-STRDC。将Swin Transformer置于骨干网络中,在高效获取全局信息的同时丰富上下文信息。提出融合5个并行空洞卷积和改进卷积块注意模块(Convolutional Block Attention Module,CBAM)注意力机制的空间金字塔池化(Spatial Pyramid Pooling,SPP)模块,输出较大图像范围信息的同时分别从通道和空间维度上增强了特征的融合能力。集成坐标注意力(Coordinate Attention,CA)机制,突出局部重点区域,以得到更准确的特征信息。YOLOv5-STRDC算法在公开的WiderPerson数据集和INRIA数据集上的平均精度均值(mean Average Precision,mAP)分别达到了71.60%和92.01%,相比YOLOv5模型,分别提升了1.80%和1.34%,实现了较好的行人检测效果。所提算法的检测速度分别达到了137.34、114.71帧/秒,满足了实时检测的要求。

融合双残差密集与注意力机制的视网膜血管分割

针对视网膜血管末端细小,且容易与背景混淆等现象从而导致细小血管不易分割和断裂等情况,提出了一种融合双残差密集与注意力机制的视网膜血管分割算法。首先,在编码器部分利用双残差密集块与高效通道注意力机制来获取特征;其次,为了解决细小血管分割不足的现象,在编码器与解码器中间使用空洞卷积替换标准卷积来增大感受野;最后,自适应聚合块将之前所有块的特征映射组合起来,形成一个新的特征映射,作为后续层的输入,在自适应聚合块或DDRB之后,将使用卷积层来压缩特征映射,则双残差密集块(从DDRB1到DDRB5)的输出特征映射被完全重用。分别在DRIVE和STARE数据集上进行验证,其ACC分别为96.85%和97.84%,AUC分别为98.61%和99.45%。

基于深度可分离空洞卷积金字塔的变压器渗漏油检测

为了降低影响并提高对变压器渗漏油巡检图像的检测效率,提出一种基于深度可分离空洞卷积金字塔的变压器渗漏油检测模型。首先,将空洞金字塔中普通卷积块修改为深度可分离卷积块,以此扩大金字塔感受野,使特征提取网络提取到的特征图语义信息更加丰富;然后,改进了特征提取阶段低阶语义特征与高阶语义特征融合过程,进一步增强特征提取网络产生特征图的语义信息;最后,为了避免经过多次卷积、池化操作后特征图语义信息的损失,在融合过程中引入空间注意力机制和通道注意力机制,进一步增强特征图中的语义信息。与UNet(convolutional networks for biomedical image segmentation)、PSPNet(pyramid scene parseing network)、DeepLabv3+(encoder-decoder with atrous separable convolution for semantic image segmentation)和MCNN(multi-class convolutional neural network)等算法进行对比实验发现,本文所提出网络检测模型效果好,查准率达到了76.85%,平均交并比达到了64.63%,召回率达到了73.56%,检测速率达到了30 f/s。为了验证本文提出方法的有效性,设计了消融实验,与基础网络模型相比,查准率提高了9.33%,平均交并比提高了7.15%,召回率提高了5.66%。

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。