基于空洞空间金字塔池化的U-Net网络在肺部图像分割上的应用

目的:胸部X线图像中肺野的自动分割是相关疾病筛查和诊断的关键步骤,为了适应计算机辅助诊断系统的要求,提出一种基于空洞空间金字塔池化的U-Net网络对胸部X线图像中肺野进行自动分割。方法:在编码和解码之间引入带有空洞卷积的空间金字塔池化用于扩大接受域;同时,在多个尺度上获取图像上下文信息,用于从胸片中分割肺野,使用Montgomery数据集及深圳数据集进行验证。根据医学图像分割常用指标准确性、Dice相似系数及交并比评价基于空洞空间金字塔池化的U-Net网络分割肺野的性能。结果:验证准确性为98.29%,Dice相似系数为96.61%,交并比为93.47%。结论:本文提出一种基于空洞空间金字塔池化的U-Net网络用于分割肺野,相较于其他方法学习到更多边缘分割特征,取得更好的分割结果。

基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法

针对遥感图像(RSI)中的目标相对较小、形变多样,且包含分布不均匀的非目标和背景等问题,提出一种基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法。该方法利用空洞多尺度卷积提取多尺度目标的分类特征,运用空洞空间池化金字塔模块扩大卷积特征图的感受野,提取更充分的目标特征,并采用注意力机制、残差连接和长跳跃连接充分保留卷积层提取的RSI的敏感特征。在公开遥感图像数据库EORSSD上的实验结果表明,所提出的方法能够从复杂多样的RSI中检测多尺度目标,检测精度为96.56%。

基于空洞空间金字塔池化和多头自注意力的特征提取网络

针对深度学习在图像处理领域中多尺度特征提取能力弱、特征内部信息捕获能力差的问题,提出了一种基于空洞空间金字塔池化和多头自注意力的特征提取网络(PPSANet)。首先,引入小扩张率的空洞卷积对空洞空间金字塔池化(ASPP)模型进行改进,提高局部特征信息的感受野;其次,将改进的ASPP模型合并到残差网络(ResNet)的每个残差块中,使网络在多个维度上都具有多尺度特征提取能力;最后,将残差网络的底层残差块替换为多头自注意力(MHSA),增强网络特征学习能力,捕获数据和特征内部的相关性。图像分割实验中,与残差网络相比,在肺结节数据集中DICE相似系数(DICE)提升了5.16个百分点,肝癌数据集中DICE提升了5.22个百分点;目标检测实验中,与残差网络相比,平均精度均值(MAP)提升了2.9个百分点。实验结果表明,PPSANet能够有效解决图像处理中多尺度特征提取能力弱和内部信息捕获能力差的问题,在一定程度上提高了图像处理的能力。

基于空洞空间池化金字塔的自动驾驶图像语义分割方法

如果车辆在道路上能精确而快速地理解人和车的语义,就能在很大程度上对障碍躲避、路径规划等做出指导。现有的基于深度学习的语义分割方法存在分割速度和分割精度不能兼得等问题。本文在现有语义分割网络的基础上,通过在特征提取基准网络后添加空洞空间池化金字塔结构,可以获取图像的多尺度语义信息。实验结果表明,文中提出的A_ASPP_1和A_ASPP_2两个模块能对自动驾驶场景中常见的人和各类车辆图像进行有效的分割。对应的两种改进的网络结构虽然分割速度稍有降低,但其训练结果的平均交并比相比现有双分支网络BiSeNet分别提升了2.1和1.2个百分点。

基于多元空洞特征金字塔的电气设备图像实例分割方法

电气设备图像自动分割识别是电力设备无人巡检系统的核心技术.根据变电站电气设备3996幅人工巡检图像库,建立并标记了含1730幅图像的巡检数据集.针对Mask R-CNN网络对图像边缘信息处理不佳、小目标识别率低等问题,提出多元特征金字塔结构,引入带空洞空间卷积的池化金字塔模块,提出多元空洞特征金字塔网络,有效克服尺度变化带来的漏检现象.在自建数据集上的识别与实例分割对比测试显示,文中网络能准确识别避雷器、电流互感器等6类典型的电气设备,识别精度和分割精度较经典网络分别提高4%和6%,能有效识别小尺度目标.

衔接注意力机制与残差ASPP的W-Net工业烟尘图像分割

工业烟尘图像分割是基于烟尘图像监测污染等级判定的重要环节.针对工业烟尘分割时存在的小目标烟尘漏检、大目标烟尘误检以及分割结果精度低等问题,提出了一种结合衔接注意力机制和残差空洞空间金字塔池化(ASPP)的W-Net网络.使用衔接注意力机制将两个U-Net网络组合成W-Net,W-Net能充分利用烟尘的轮廓、位置信息进行烟尘粗分割和细分割操作,两次分割能达到更精细的分割效果;此外,针对W-Net中的普通卷积功能过于简单而不能更好地提取烟尘特征的问题,提出一种兼具残差块和ASPP功能的残差ASPP结构,同时还能根据大小目标烟尘的特点进行针对性分割,分割结果更全面完整.实验结果表明,结合衔接注意力机制与残差ASPP的W-Net以较小的分割效率损失为代价获得了较高的分割精度,Recall,IoU与F-score指标提高了4%~5%,解决了大小目标烟尘存在的分割问题,烟尘的分割效果也优于其他语义分割网络.

基于ASPP-SOLOv2的复杂场景下透明玻璃仪器实例分割

针对深度学习方法对复杂背景下实验室透明玻璃仪器识别效果不佳的问题,建立包含1548张含常用玻璃化学仪器图像的实验室复杂场景实例分割数据集,提出基于动态快速实例分割算法2.0版(SOLOv2)的透明仪器实例分割算法,利用空洞空间金字塔池化(ASPP)融合多尺度信息,通过自下而上增强方式提高底层信息利用率,交并比阈值大于50%的精确率最终达到90.50%,类平均精度(APav)达到76.00%,比原始方法平均精度提高8.7%。消融实验表明ASPP的引入增强透明仪器的几何、边缘等特征的表示能力,提高对密集重叠目标的分割精度。该方法使APav提高22.58%,在骨干网络特征分辨率为原图1/16的阶段,加入该模块可实现浅层信息和高阶语义信息的最佳平衡。

改进ASPP及多层次特征语义融合分割方法

为解决图像语义分割中多尺度目标分割困难、类别边界预测不准确等问题,提出一种基于改进空洞空间金字塔池化的多层次特征语义融合分割方法。将深层次网络特征按通道分组,利用分组空洞空间金字塔池化模块捕获每个分组多尺度特征上下文信息;引入条状池化模块对上下文信息补充和完善,增强全局语义信息表达;根据语义引导融合模块建立不同层次特征像素间对应关系,将深层次语义信息以自底向上方式逐步融入到低层次高分辨率图像中。实验结果表明,该方法在PASCAL VOC 2012和Cityscapes公开数据集上分别获得73.1%、71.8%的平均交并比,且在相同精度下,该方法减少了39%的参数量。

融合改进ASPP和CBAM的竹材端面分割与竹梢位置检测方法

在竹集成材的生产流程中,为了减少竹材加工过程中产生的浪费,需要精确获取竹材端面的内周长与厚度。而生长过竹梢的长竹条由于其纤维结构上的特征也无法进行粗刨。为提高竹产业生产效率,降低竹材浪费,提出了一种融合改进后的空洞空间卷积池化金字塔(ASPP)与双注意力机制(CBAM)的轻量级端到端网络模型。该网络既能够得到竹梢的精确位置,又能够提取出竹材端面的内外轮廓为后续计算竹材内轮廓周长与厚度提供条件。主干特征提取网络由4个卷积模块(block)组成,共实现16倍的下采样,每个模块内搭建残差结构来缓解梯度消失的问题;上采样阶段采用两次4倍的上采样实现端到端的输出,在两次上采样前分别加入改进后的空洞空间卷积池化金字塔与双注意力机制以提高网络输出的精度。该研究在训练阶段针对不同输出任务采用了不同的损失函数。试验表明,所提出的方法在分割竹材端面任务中交并比达到96.11%,竹梢位置检测任务中距离误差为3.09%,每秒传输帧数达到114.21。与LEDNet、BiSeNet-V2、RegSeg分割网络相比,本研究所提方法能够更好地平衡检测精度与检测速度。

融合注意力机制及DenseASPP改进的DeeplabV3+遥感图像分割方法

由于遥感影像分辨率的提高,卷积层需要更大的感受野来捕获语义信息。DeeplabV3+模型在使用较大空洞率时会出现空洞卷积低效或失效的问题,同时该模型依靠卷积运算捕获的是局部信息,难以建立长距离依赖。为此,文章设计了一种基于DeeplabV3+的改进模型,在原模型中添加金字塔拆分注意力模块(pyramid split attention,PSA),通过金字塔结构,使网络关注关键信息,帮助模型提取像素级多尺度空间信息的同时建立长距离依赖关系。同时,将空间空洞金字塔池化模块(atrous spatial pyramid pooling,ASPP)替换为密集空间空洞金字塔池化模块(dense atrous spatial pyramid pooling,DenseASPP),帮助网络利用更多像素,获得更大感受野,得到更密集的特征金字塔,并避免了空洞卷积低效或失效的情况发生。为了验证模型效果,分别使用Vaihingen和WHDLD数据集进行实验。相较于原模型,该模型的MIoU提高了2.8%~0.9%,F1分数提高了2.1%~0.73%;通过与其他现有模型进行对比,该方法在分割效果上也有明显的提升。

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

结合空洞卷积和迁移学习改进YOLOv4的X光安检危险品检测

由于X光安检图像存在背景复杂,重叠遮挡现象严重,危险品摆放方式、形状差异较大等问题,导致检测难度较高。针对上述问题,本文在YOLOv4的基础上,结合空洞卷积对其网络结构进行改进,加入空洞空间金字塔池化(Atrous Space Pyramid Pooling,ASPP)模型,以此增大感受野,聚合多尺度上下文信息。然后,通过K-means聚类方法生成更适合X光安检危险品检测的初始候选框。其中,模型训练时采用余弦退火优化学习率,进一步加速模型收敛,提高模型检测精度。实验结果表明,本文提出的ASPP-YOLOv4检测算法在SIXRay数据集上的mAP达到85.23%。该方法能有效减少X光安检图像中危险品的误检率,提高小目标危险品的检测能力。

基于改进的IIE-SegNet的快速图像语义分割方法

针对IIE-SegNet计算复杂度高、计算量大等问题,本文提出一种基于IIE-SegNet的改进方法。编码结构中引入经ImageNet训练过的VGG16和多尺度空洞卷积空间金字塔池化来获得丰富的编码信息;解码结构中,设计全局加平均模块来解决IIE-SegNet计算量大的问题;研究Focal损失函数来解决正、负采样不平衡的问题。实验结果表明:与IIE-SegNet相比,本方法在PASCAL VOC 2012数据集上的语义分割速度更快,平均每次迭代快0.6 s左右,测试单张图像的时间平均减少了0.94 s;分割精度更高,MIoU提升了2.1%。在扩展的PASCAL VOC 2012(Exp-PASCAL VOC 2012)数据集上的语义分割速度更快,平均每次迭代快0.4 s左右,测试单张图像的时间平均减少了0.92 s;分割精度更高,MPA和MIoU分别提升了2.6%和2.8%,特别是对于小尺度目标分割边界更清晰,性能得到了很大的提升。

基于PCSA-YOLOv7 Former的输电线路连接金具及其锈蚀检测方法

输电线路分布情况复杂且故障难以有效检测,其中连接金具长期暴露于复杂环境下易受到恶劣环境的影响出现锈蚀等故障。针对输电线路连接金具部件具有尺度多样性和存在着锈蚀故障检测精度低的问题,提出了一种基于双重注意力嵌入重构和Swin Transformer的输电线路连接金具组件及其锈蚀故障检测方法:PCSA-YOLOv7 Former。实验结果表明:该方法在构建的TLCF数据集上的综合检测性能领先于12类当前先进的目标检测算法,其中在测试集上的mAP_(0.5)达到94.9%,该方法相比于基线模型YOLOv7,其F1和mAP0.5指标分别提升了2.6个百分点和2.2个百分点,说明该方法能够更全面地理解输电线路连接金具图像中的多尺度语义信息并学习到不易区分的微小细节表征。

健身行为的人体姿态估计及动作识别

人体姿态估计和动作识别在安防、医疗和运动等领域有着重要的应用价值。为了解决不同背景及角度下各类运动动作的人体姿态估计和动作识别问题,本文提出了一种改进的YOLOv7-POSE算法,并自行拍摄制作各种拍摄角度的数据集进行训练。此算法以YOLOv7为基础,对原始网络模型添加了分类的功能,在Backbone主干网络中引入CA卷积注意力机制,提升了网络在对人体骨骼关节点和动作的分类的重要特征的识别能力。用HorNet网络结构代替原模型的CBS卷积核,提高了模型的人体关键点检测精度和动作分类的准确度。将Head层的空间金字塔池化结构替换为空洞空间金字塔池化结构,提升了检测精度并且加快了模型收敛。将目标检测框的回归函数由CIOU替换为EIOU,提高了坐标回归的精度。设计了两组对照实验,实验结果证明,改进后的YOLOv7-POSE在验证集上的mAP为95.7%,相比于原始YOLOv7算法提高了4%,各类运动动作识别准确率显著上升,在实际推理中的关键点错检、漏检等情况明显减少,关键点位置估计误差明显降低。

基于改进YOLOv5s的交通标识检测算法

针对交通标识在图像中占比小、检测精度低且周围环境复杂等问题,提出一种基于改进YOLOv5s的算法.首先,在主干网络部分添加注意力机制ECA(Efficient Channel Attention,高效通道注意力),增强网络的特征提取能力,有效解决了周围环境复杂的问题;其次,提出HASPP(Hybrid Atrous Spatial Pyramid Pooling,混合空洞空间金字塔池化),增强了网络结合上下文的能力;最后,修改网络中的Neck结构,使高层特征与底层特征有效融合,同时避免了跨卷积层造成的信息丢失.实验结果表明,改进后的算法在交通标识数据集上取得了94.4%的平均检测精度、74.1%的召回率以及94.0%的精确率,较原始算法分别提升了3.7、2.8、3.4个百分点.

改进Unet++的肾脏肿瘤分割方法

针对人工方式分割CT图像肾脏肿瘤区域耗时费力且存在主观因素影响等问题,提出一种基于卷积神经网络的肾脏肿瘤自动分割算法。算法以Unet++分割网络为基础框架,将预训练的ResNet-34网络中四个特征提取模块作为Unet++网络特征编码器,来提取图像特征信息;并将重新设计的空洞空间金字塔池化网络嵌入到Unet++每条解码路径中;不同的解码路径通过特征融合得到肾脏肿瘤分割结果。在KiTS19竞赛提供的数据集上进行验证,实验结果表明,该算法有效提高了CT图像肾脏肿瘤的分割精度。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

Res_ASPP_UNet++:结合分离卷积与空洞金字塔的遥感影像建筑物提取网络

针对连续池化操作丢失低层语义信息而导致建筑物提取精度低的问题,尝试以UNet++网络为基础,通过将编码器的标准卷积及最大池化替换成深度可分离卷积,以及在编码器末端利用不同采样率的空洞卷积构建多尺度空洞空间金字塔池化结构ASPP(Atrous Spatial Pyramid Pooling)来提升网络性能,并将改进后的建筑物提取网络称为残差空洞空间金字塔网络(Res_ASPP_UNet++)。为验证Res_ASPP_UNet++网络结构的有效性和适用性,以经过数据增强预处理的WHU和Massachusetts数据集作为数据源,对Res_ASPP_UNet++网络与目前常用的语义分割网络进行了试验和精度评估,并将Res_ASPP_UNet++网络与文献中的研究成果进行了对比。结果表明Res_ASPP_UNet++在模型参数量与精度两个方面均表现出优势,能够在大幅压缩模型参数量的前提下,显著提升建筑物提取精度,提取建筑物的边界更加平滑和精确,对不同尺度的建筑物表现出较强的泛化能力。

基于深度学习的田间玉米幼苗与杂草语义分割研究

为实现复杂田间背景下玉米幼苗和杂草的准确分割,提出了一种基于改进ResNet的语义分割网络模型.首先,对骨干网络进行调整,在保证感受野不变的情况下降低计算量,提高模型的分割精度;其次,引进空洞空间金字塔池化模块,增强模型对多尺度目标上下文信息和全局上下文信息的获取能力;最后,引入条带池化模块补充和完善上下文信息,增强全局语义信息表达.实验结果表明,该模型在自建数据上获得85.3%的平均交并比.对田间复杂环境下玉米幼苗与杂草具有良好的分割效果和泛化能力,研究结果为智能除草设备提供一定的参考.