融合密集空洞注意力金字塔和多尺度的视网膜病变分割

针对糖尿病视网膜病变(DR)分割任务中病变区域多尺度特征难以学习、边界模糊等问题,提出一种改进的U型多病变分割模型DDAPNet。首先,对DR图像进行Patch处理,使模型更好地捕捉病变的局部特征;其次在主干特征提取后引入重新设计的密集空洞注意力金字塔(DDAP)模块,扩大感受野,解决病变边界模糊问题;同时采用金字塔切分注意力进行特征增强,然后将二者进行特征融合;最后在跳跃连接中嵌入改进的残差注意力模块,降低浅层冗余信息的干扰。在数据集和医院真实数据集上进行联合验证,实验结果表明,相较于基础模型,DDAPNet模型对微动脉瘤、出血点、软渗出DDR物和硬渗出物的分割在Dice系数上分别提高了4.31%、2.52%、3.39%、4.29%,在mIoU上分别提高了1.80%、2.24%、4.28%、1.98%。该模型对病灶边缘的分割更为连续和平滑,有效提升了软渗出物等视网膜病变的分割性能。

基于多分支特征融合的密集人群计数网络

针对人群计数任务中存在的多尺度变化、背景噪声等问题,提出一种基于多分支特征融合的人群计数网络。在网络前端设计一个双向特征融合路径,将网络深层的语义信息和浅层的空间细节信息进行反复提取融合,使用位置注意力机制和通道注意力机制增强网络对人群和背景之间的判别能力,生成高质量特征图;网络后端采用密集残差连接增强网络对人头连续的多尺度信息提取能力,得到最终的人群密度图。在ShanghaiTech、UCF_CC_50和UCF_QNRF数据集上分别进行的对比实验的结果表明,该模型的计数性能优于先前诸多方法,有着良好的计数精度。

基于大核卷积和密集目标细化的遥感图像多尺度特征增强网络

针对遥感图像中目标尺度变化差异大、方向任意和分布密集,现有检测方法较少直接关注密集边缘信息且目标无法获得合适的感受野,遥感检测效果较差的问题,本文提出了一种基于大核卷积和密集目标细化的多尺度特征增强网络(LKCSFP-NET)来进行遥感图像的检测。该网络首先在SKNET基础上增加了空洞卷积形成大核卷积块(LKB),从而获得小目标的最佳感受野以及提升了网络对多尺度的适应性和准确度;其次在FPN基础上增加了集中空间特征金字塔CSFP模块,通过将全局语义信息与局部语义信息相结合,解决了遥感图像因目标分布密集以及背景复杂导致的检测效率较低的问题。实验结果表明,在DOTA和HRSC2016公开数据集上,所提算法在2个数据集上的平均检测精度分别为75.96%和96.60%,较基线网络提升了1.36百分点和0.63百分点,优于现有大多数模型。所提出的LKCSFP-NET在两个公开数据集中表现稳定,对小目标和密集排列的目标都有较好的检测效果,高于现有大多数模型的检测精度,可以很好地应用于遥感目标的检测。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于多尺度特征聚合和密集连接的人群计数网络

人群计数任务处理的图像受到遮挡、视角变化和透视效应、背景成像干扰等多方面的挑战。针对复杂场景中人群计数任务存在的尺度变化、图片噪声等问题,设计一种基于多尺度特征聚合和密集连接的人群计数网络模型。模型的一个重要组成部分是密集连接而成的多尺度特征聚合模块,它通过不同卷积核提取多尺度特征并聚合其跨尺度的信息进行更准确的估计。该网络模型在三个公开数据集Shanghai Tech、UCF_QNRF、UCF_CC_50上进行测试,实验结果表明,该模型相比目前先进算法CSRNet在平均绝对误差(MAE)、均方误差(MSE)均有不同程度的减少,模型精度更好。与其他模型相比,该模型更充分地利用多尺度特征信息,提高了人群计数任务的精度。

基于多尺度特征融合的人脸检测算法

近年来人脸检测技术得到了快速发展,特别是基于人工智能神经网络的人脸检测技术在一些工业级环境中得到了广泛应用,但这些人脸检测技术在识别戴口罩的人脸时会出现召回率不高的现象。针对这个问题,研究一种能够对戴口罩人脸进行精准定位的技术,提出一种基于多尺度特征融合的人脸检测算法。该算法使用MobileNet轻量级的网络框架,引入特征金字塔融合模块和SSH模块,并设计了两种损失函数:人脸分类损失函数和人脸检测回归框损失函数。实验中使用WIDER FACE和MAFA数据集对该算法进行训练,并与当前主流的人脸检测算法进行比较,结果表明文中提出的算法具有较好的性能。

边缘信息引导多级尺度特征融合的显著性目标检测方法

针对基于FCN和U型网络架构的深度学习显著性目标检测方法提取的显著性图存在边界不清晰和结构不完整的问题,文中提出了一种基于边缘信息引导多级尺度特征融合网络(EGMFNet)。EGMFNet使用多通道融合残差块(RCFBlock)以嵌套的U型网络架构作为主干模型。同时,在网络的较低层级引入具有边缘信息引导的全局空间注意力模块(EGSAM)以增强空间特征及边缘特征。此外,在损失函数中引入了图像边界损失,用于提升显著性图的质量并在学习过程中保留更加清晰的边界。在四个基准数据集上进行实验,实验结果表明,文中方法的F值较典型方法提升1.5%、2.7%、1.8%和1.6%,验证了EGMFNet网络模型的有效性。

有限训练样本下的多尺度空洞密集网络高光谱影像分类

为了在有限训练样本情况下充分提取高光谱影像的空间光谱特征,提高分类精度,提出一种结合空洞卷积和密集网络的高光谱影像分类方法。首先,构建多尺度空洞特征提取模块,引入不同数量的空洞卷积层和普通卷积层通过级联的方式增大模型的感受野,并提取多尺度特征。然后,在多尺度空洞特征提取模块之间建立密集连接,实现特征复用的同时缓解梯度消失问题,而模块内部无密集连接,避免构建深度网络而导致网络参数过多的问题。最后,将得到的特征依次通过池化层,全连接层和Softmax层完成分类。另外,本文在全连接层后加入dropout正则化防止出现过拟合。在Indian Pines和WHU-Hi-Longkou数据集上与经典分类方法进行对比,本文方法 OA分别为98.75%和98.82%。实验结果表明,本文设计的网络模型在有限训练样本情况下,分类效果最优。

滑窗注意力多尺度均衡的密集行人检测算法

由于现实场景下的行人目标在形态、尺度等方面存在巨大差异,相比于传统方法对多尺度行人检测平均精准率较低的情况,基于Transformer注意力机制的网络在行人检测领域已经展现出强大的性能。然而,密集场景下的多尺度检测仍存在一些难点。在密集场景中,通常会包含大量的被遮挡或小规模的行人目标,导致模型产生大量的误检和漏检,同时耗费大量的计算资源。此外,当行人目标重叠较为严重时,准确地检出所有目标也会变得极为困难。为了解决上述问题,提出了一种基于滑窗注意力的密集场景多尺度行人检测算法。在Backbone中使用改进Swin block使得网络能够提取到更多的细节特征,同时减少注意力机制带来的繁重计算量。为有效解决特征融合问题,在Neck部分使用DyHead block来统一多个注意力运算,以此提高特征融合效率。针对特征均衡问题,设计了一种基于全连接的特征尺度均衡模块,通过在特征金字塔的各层级之间构造不同的残差结构来进行特征平衡,辅助模型生成更高质量的特征图。在WiderPerson数据集上的实验结果表明,该算法在AP值上提升了1.1个百分点,在最值得关注的小目标和中目标上也分别有1.0和0.7个百分点的提升。

多尺度特征融合与新型判别器的无监督分割

工厂在智能化升级过程中,有很多应用场景需要用到语义分割。然而使用全监督语义分割方法需要耗费大量人力成本进行样本标注,所以研究无监督语义分割方法很有必要。针对本地某碳素厂石墨电极压印字符的语义分割问题,提出了一种无监督语义分割方法 CycleGAN-Seg。结合跨层连接和空洞空间池化金字塔(ASPP)的思想,构建了新型多尺度特征融合生成器,加入了改进的注意力模块以提升网络性能。同时提出一种新的U形判别器对重构图像进行判别。在石墨电极表面压印字符数据集语义分割实验中,MIoU值可达70.81%,分割效果基本满足识别需要,有望在该工业场景中替代全监督学习方法,以节省人工标注成本,达到快速训练和部署的目的。

城市场景分割的多尺度感知融合网络研究

针对道路场景信息多尺度变换的问题,基于编码器-解码器的非对称网络结构,提出一种轻量级多尺度感知融合网络。根据残差网络以及空洞卷积的概念,设计一种新的残差模块Res-SS,在不增加卷积参数的情况下,提高特征提取的效率。设计多尺度感知融合提取模块,提高网络对于道路场景多尺度物体信息的自适应提取能力。为弥补特征提取过程中的低级特征缺失,采用Superpixel模块,将道路场景内低级边缘信息与高级语义信息融合,使得二者互为补充,从而得到高质量的语义分割结果。在Cityscapes数据集上的实验表明,该算法比现有的轻量级城市场景语义分割算法具有更高的精度和鲁棒性。

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.

融合坐标注意力与多尺度特征的轻量级安全帽佩戴检测

针对现有煤矿工人安全帽佩戴检测算法存在检测精度与速度难以取得较好平衡的问题,以YOLOv4模型为基础,提出了一种融合坐标注意力与多尺度的轻量级模型M-YOLO,并将其用于安全帽佩戴检测。该模型使用融入混洗坐标注意力模块的轻量化特征提取网络S-MobileNetV2替换YOLOv4的特征提取网络CSPDarknet53,在减少相关参数量的前提下,有效改善了特征之间的联系;将原有空间金字塔池化结构中的并行连接方式改为串行连接,有效提高了计算效率;对特征融合网络进行改进,引入具有高分辨率、多细节纹理信息的浅层特征,以有效加强对检测目标特征的提取,并将原有Neck结构中的部分卷积修改为深度可分离卷积,在保证检测精度的前提下进一步降低了模型的参数量和计算量。实验结果表明,与YOLOv4模型相比,M-YOLO模型的平均精度均值仅降低了0.84%,但计算量、参数量、模型大小分别减小了74.5%,72.8%,81.6%,检测速度提高了53.4%;相较于其他模型,M-YOLO模型在准确率和实时性方面取得了良好的平衡,满足在智能视频监控终端上嵌入式加载和部署的需求。

基于全尺度特征融合的自监督单目深度估计

针对自监督单目深度估计生成的深度图边界模糊、伪影过多等问题,提出基于全尺度特征融合模块(FSFFM)和链式残差池化模块(CRPM)的深度网络编解码结构.在解码时,将编码器得到的高分辨率和相同分辨率特征与之前解码器得到的低分辨率特征以及上一级逆深度图进行融合,使网络学习到的特征既包含全局信息又包含局部信息.使用CRPM从融合特征中获取背景上下文信息,最终得到更精确的深度图.在KITTI数据集上进行了实验,与之前工作相比,该方法深度值绝对误差降低了7.8%,阈值为1.25的精确度提高了1.1%,其结果优于现有大多数自监督单目深度估计算法.

多尺度特征融合ESRGAN的岩石显微图像超分辨研究

岩石显微图像可以反映油气藏的分布情况,对石油勘探等行业具有很高的应用价值。针对岩石显微图像在超分辨处理时存在岩石特性模糊、分辨率低、丢失细节信息等问题,基于ESRGAN和多尺度特征融合,对网络结构进行优化,在ESRGAN的RRDB块中加入多尺度特征融合方法,提出一种岩石显微图像超分辨率重建算法。采用DRSRD1_2D岩石显微图像数据集进行4倍超分辨重建实验,通过峰值信噪比(PSNR)、结构相似性(SSIM)及感知系数(PI)对重建结果进行评价,并将所提算法与SRGAN、SFT-GAN、ESRGAN方法进行对比。结果表明:在碳酸岩数据集上,该算法的三项指标在几种算法中均为最优;在砂岩数据集上,该算法的PSNR和PI指标最优,SSIM则为次优。此外,该算法在视觉效果上也有着良好表现,能更好地表达图像的细节特征。

多尺度密集特征融合的图像超分辨率重建

针对现有单幅图像超分辨率重建算法提取的图像特征信息单一、高频细节丢失的问题,提出了一种高效利用特征信息的基于多尺度密集特征融合网络的图像超分辨率重建算法。该方法通过含有不同尺度卷积核的多尺度特征融合残差模块提取不同尺度图像特征并将不同尺度的特征融合,以提取丰富的图像特征。在模块间采用密集特征融合结构将不同模块提取到的特征信息充分融合,以更好地保留图像的高频细节、获取更好的视觉感受。大量实验表明,所提出的方法在参数量减少的同时,在四个基准数据集上取得的峰值信噪比和结构相似度均有明显提升,尤其在Set5数据集上4倍重建结果的峰值信噪比相比于DID-D5提升了0.08 dB,且重建图像视觉效果更好、特征信息更加丰富,充分证明了该算法的有效性。

基于多尺度特征融合和密集连接网络的疏果期黄花梨植株图像分割

由于自然环境下果蔬植株的果实、枝干和叶片等目标尺度不一、边缘不规则,因此造成其准确分割较为困难。针对该问题,提出1种多尺度特征融合和密集连接网络(Multi-scale feature fusion and dense connection networks,MDNet)以实现黄花梨疏果期植株图像的准确分割。在研究中借鉴了编码-解码网络,其中编码网络采用DenseNet对多层特征进行复用和融合,以改善信息传递方式;解码网络使用转置卷积进行上采样,结合跳层连接融合浅层细节信息与深层语义信息;在编码、解码之间加入空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP)用于提取不同感受野的特征图以融合多尺度特征,聚合上下文信息。结果表明,ASPP有效提高了模型的分割精度,MDNet在测试集上的平均局域重合度(MIoU)为77.97%,分别较SegNet、Deeplabv2和DNet提高了8.10个、5.77个和2.17个百分点,果实、枝干和叶片的像素准确率分别为93.57%、90.31%和95.43%,实现了黄花梨植株果实、枝干和叶片等目标的准确分割。在翠冠梨植株图像的独立测试中,MIoU为70.93%,表明该模型具有较强的泛化能力,对自然环境下果蔬植株图像的分割有一定的参考价值。

基于多尺度密集特征融合的单图像翻译

为了解决现有的单图像翻译模型生成的图像质量低、细节特征差的问题,本文提出了基于多尺度密集特征融合的单图像翻译模型。该模型首先借用多尺度金字塔结构思想,对原图像和目标图像进行下采样,得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取,将提取到的风格特征从原图像迁移到目标图像中,通过与判别器不断的博弈对抗,生成所需要的翻译图像;最后,本文通过渐进式增长生成器训练的方式,在训练的每个阶段中不断增加密集特征模块,实现生成图像从全局风格到局部风格的迁移,生成所需要的翻译图像。本文在各种无监督图像到图像翻译任务上进行了广泛的实验,实验结果表明,与现有的方法相比,本文的方法训练时长缩短了75%,并且生成图像的SIFID值平均降低了22.18%。本文的模型可以更好地捕获源域和目标域之间分布的差异,提高图像翻译的质量。

基于特征优化和GAN的红外与可见光图像融合算法

针对红外与可见光融合图像存在纹理细节不丰富、对比度较低及目标信息损失等问题,提出了一种基于特征优化和生成对抗网络的图像融合算法。首先,设计一种自适应特征优化模块以增强原始图像纹理细节及对比度;然后,为使融合图像保留更多的多模态信息,将生成对抗网络引入到融合框架中。在生成器模型中,考虑到红外与可见光图像成像机理差异,构建了双支路特征提取网络,并设计多尺度密集连接模块以提取异源图像丰富的特征信息;其次,在融合层构造通道和空间注意力模型以增强局部特征之间联系,减小融合图像中目标信息损失;最后,为使融合结果尽可能保留可见光纹理细节的同时又能够较好突出红外目标,构造了双判别器网络结构。为验证所提算法优势,在TNO数据集上进行实验,并与6种经典融合算法进行主观和客观比较。实验结果表明,所提算法无论在主观还是客观评价上均具有明显优势,生成的融合图像纹理细节更为丰富、边缘及目标更加清晰且具有更好的对比度,客观评价指标信息熵、空间频率、相关熵、视觉保真度和梯度信息分别提高了16.11%、65.46%、7.96%、42.67%和33.24%。

多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明:与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性(SSIM)、空间频率(SF)指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。