基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法

针对遥感图像(RSI)中的目标相对较小、形变多样,且包含分布不均匀的非目标和背景等问题,提出一种基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法。该方法利用空洞多尺度卷积提取多尺度目标的分类特征,运用空洞空间池化金字塔模块扩大卷积特征图的感受野,提取更充分的目标特征,并采用注意力机制、残差连接和长跳跃连接充分保留卷积层提取的RSI的敏感特征。在公开遥感图像数据库EORSSD上的实验结果表明,所提出的方法能够从复杂多样的RSI中检测多尺度目标,检测精度为96.56%。

基于空洞空间金字塔池化的U-Net网络在肺部图像分割上的应用

目的:胸部X线图像中肺野的自动分割是相关疾病筛查和诊断的关键步骤,为了适应计算机辅助诊断系统的要求,提出一种基于空洞空间金字塔池化的U-Net网络对胸部X线图像中肺野进行自动分割。方法:在编码和解码之间引入带有空洞卷积的空间金字塔池化用于扩大接受域;同时,在多个尺度上获取图像上下文信息,用于从胸片中分割肺野,使用Montgomery数据集及深圳数据集进行验证。根据医学图像分割常用指标准确性、Dice相似系数及交并比评价基于空洞空间金字塔池化的U-Net网络分割肺野的性能。结果:验证准确性为98.29%,Dice相似系数为96.61%,交并比为93.47%。结论:本文提出一种基于空洞空间金字塔池化的U-Net网络用于分割肺野,相较于其他方法学习到更多边缘分割特征,取得更好的分割结果。

基于空洞空间金字塔池化和多头自注意力的特征提取网络

针对深度学习在图像处理领域中多尺度特征提取能力弱、特征内部信息捕获能力差的问题,提出了一种基于空洞空间金字塔池化和多头自注意力的特征提取网络(PPSANet)。首先,引入小扩张率的空洞卷积对空洞空间金字塔池化(ASPP)模型进行改进,提高局部特征信息的感受野;其次,将改进的ASPP模型合并到残差网络(ResNet)的每个残差块中,使网络在多个维度上都具有多尺度特征提取能力;最后,将残差网络的底层残差块替换为多头自注意力(MHSA),增强网络特征学习能力,捕获数据和特征内部的相关性。图像分割实验中,与残差网络相比,在肺结节数据集中DICE相似系数(DICE)提升了5.16个百分点,肝癌数据集中DICE提升了5.22个百分点;目标检测实验中,与残差网络相比,平均精度均值(MAP)提升了2.9个百分点。实验结果表明,PPSANet能够有效解决图像处理中多尺度特征提取能力弱和内部信息捕获能力差的问题,在一定程度上提高了图像处理的能力。

基于空洞空间池化金字塔的自动驾驶图像语义分割方法

如果车辆在道路上能精确而快速地理解人和车的语义,就能在很大程度上对障碍躲避、路径规划等做出指导。现有的基于深度学习的语义分割方法存在分割速度和分割精度不能兼得等问题。本文在现有语义分割网络的基础上,通过在特征提取基准网络后添加空洞空间池化金字塔结构,可以获取图像的多尺度语义信息。实验结果表明,文中提出的A_ASPP_1和A_ASPP_2两个模块能对自动驾驶场景中常见的人和各类车辆图像进行有效的分割。对应的两种改进的网络结构虽然分割速度稍有降低,但其训练结果的平均交并比相比现有双分支网络BiSeNet分别提升了2.1和1.2个百分点。

结合残差与双注意力机制的U-Net语音增强方法

针对U-Net语音增强网络深层特征提取能力不足,以及编解码过程中特征信息丢失问题,提出一种结合残差与双注意力机制的DA-Res-Unet语音增强方法。将U-Net编解码部分设计为残差结构来深化网络,增强深层特征提取能力;在网络结构中构造双注意力机制,减少时频特征提取中的细节信息丢失;在网络中融入空洞空间金字塔池化结构,在低参数量情况下融合不同尺度上下文背景信息,提高模型特征捕获能力。实验结果表明,DA-Res-Unet网络模型在可见噪声测试集上的PESQ、STOI和LSD这3种评测指标取得了不同程度的提升,在未知噪声测试集上具备一定优势。

KU-Net:改进U-Net的高分辨率遥感影像建筑物提取方法

针对遥感影像背景复杂导致的建筑物提取结果存在边界模糊、小目标漏检、地物误检等问题,提出一种基于改进U-Net的建筑物提取网络KU-Net(Keep border U-Net)。该网络在U-Net的基础上加入空洞空间金字塔池化和含注意力机制的横向连接模块,其中,空间空洞金字塔池化能够提升模型的感受野,横向连接模块对不同层级的跳跃连接特征进行融合,缓解特征丢失的情况,从而进一步提高精度。实验结果表明,该方法相比于其他对比方法,提取结果更为清晰准确,对边缘有较好的保持效果,定量结果更优。

基于多元空洞特征金字塔的电气设备图像实例分割方法

电气设备图像自动分割识别是电力设备无人巡检系统的核心技术.根据变电站电气设备3996幅人工巡检图像库,建立并标记了含1730幅图像的巡检数据集.针对Mask R-CNN网络对图像边缘信息处理不佳、小目标识别率低等问题,提出多元特征金字塔结构,引入带空洞空间卷积的池化金字塔模块,提出多元空洞特征金字塔网络,有效克服尺度变化带来的漏检现象.在自建数据集上的识别与实例分割对比测试显示,文中网络能准确识别避雷器、电流互感器等6类典型的电气设备,识别精度和分割精度较经典网络分别提高4%和6%,能有效识别小尺度目标.

融合轻量化ASPP和U-Net的遥感影像烤烟种植区域提取

针对目前遥感影像中烤烟边缘识别效率低且识别精度低等问题,文章提出一种融合轻量化ASPP和U-Net框架的遥感影像烤烟种植区域提取模型。首先,该模型在U-Net编码层和解码层连接处加入轻量化空洞空间金字塔池化模块;其次,该模型将线性整流函数(Rectified Linear Unit,ReLU)替换为ReLU6激活函数,能够在低精度计算时压缩动态范围,从而使算法更具鲁棒性;最后,该模型通过采用形态学孔洞填充构建标签图后处理算法,实现分割结果优化。为验证该模型框架的有效性和适用性,文章采用无人机遥感影像作为实验数据集,构建与传统语义分割模型的对比实验以及消融实验等。实验结果表明,通过与FCN、U-Net、SegNet和DeepLabV3+等传统语义分割算法相比较,文章提出的模型获得了较好的分割效果,其像素准确率和平均交并比分别为93.7%和84.1%。此外,该模型在保证模型精度的情况下,还能够提高模型的计算速度。

结合空洞卷积和迁移学习改进YOLOv4的X光安检危险品检测

由于X光安检图像存在背景复杂,重叠遮挡现象严重,危险品摆放方式、形状差异较大等问题,导致检测难度较高。针对上述问题,本文在YOLOv4的基础上,结合空洞卷积对其网络结构进行改进,加入空洞空间金字塔池化(Atrous Space Pyramid Pooling,ASPP)模型,以此增大感受野,聚合多尺度上下文信息。然后,通过K-means聚类方法生成更适合X光安检危险品检测的初始候选框。其中,模型训练时采用余弦退火优化学习率,进一步加速模型收敛,提高模型检测精度。实验结果表明,本文提出的ASPP-YOLOv4检测算法在SIXRay数据集上的mAP达到85.23%。该方法能有效减少X光安检图像中危险品的误检率,提高小目标危险品的检测能力。

基于空洞卷积神经网络的毒株胚蛋裂纹分割

针对工厂机械设备的噪声和振动、胚蛋蛋壳表面的污斑和裂纹大小、光源打光方式会对裂纹检测产生严重影响,提出一种基于密集空洞卷积模块(DACM)与空洞空间金字塔池化结构(ASPP)的卷积神经网络(CNN)分割方法分割胚蛋裂纹。采用编码器-解码器网络结构与密集连接的空洞卷积结合,增强空间信息表示并重建不同尺度目标信息;同时,在网络浅层引入ASPP,获取多尺度特征,增强细节信息,提高网络分割性能。结果表明:在自制毒株胚蛋顶部裂纹与侧面裂纹数据集上,该方法的平均交并比(MIoU)分别达到了74.2%与81.3%,具有较强的鲁棒性。

基于双路径和空洞空间金字塔池化的血液白细胞分割

血涂片图像中白细胞的计数和识别对诊断包括白血病在内的血液疾病起着至关重要的作用。传统的人工检测结果容易受到多种因素的干扰,有必要开发白细胞自动分析系统为医生提供辅助诊断,而血液白细胞分割则是自动分析的基础。本文改进U-Net模型,提出一种基于双路径和空洞空间金字塔池化的血液白细胞分割算法。首先在特征编码器中引入双路径网络提取图像中白细胞的多尺度特征,并使用空洞空间金字塔池化模块强化网络的特征提取能力,再用卷积和反卷积组成特征解码器将分割目标恢复到原始图像大小,实现血液白细胞的像素级分割。最后在三个白细胞数据集上进行定性定量实验,验证本文算法的有效性。研究结果表明,提出的血液白细胞分割算法相对于其他典型方法具有更为优秀的分割结果,mIoU值能达到0.97以上,今后或有助于血液疾病的自动辅助诊断。

融合U-Net改进模型与超像素优化的语义分割方法

基于现有的语义分割方法在面对不受限制的开放词汇量和多样多变的场景时表现出的分割不够精细、语义信息提取不充分和收敛时间长的问题,提出一种融合U-Net改进模型与超像素优化的语义分割方法。U-Net改进模型中结合空间金字塔模块(Atrous spatial Pyramid pooling,ASPP)和Xception结构,在ASPP模块的分支网络中加入扩张卷积(Dilated convolutions,DC)形成模块本身的串并联结构,以增强图像特征提取能力;在Xception模块中添加注意力通道以及使用大的卷积核重构Xception模块,以减少数据的参数量并提高收敛速率,在此改进基础上再对图像进行超像素分割处理。最后使用条件随机场对分割结果施加全局约束,进一步优化像素的语义信息。本文方法在PASCAL VOC 2012测试集上进行验证并与DeepLab V3等主流网络进行对比,结果表明本文方法准确率提高了2.4%,证明了该方法在适应多变场景和应对精细语义分割上的有效性。

A-LinkNet:注意力与空间信息融合的语义分割网络

针对道路图像语义分割中上下文信息不足以及空间细节信息易丢失等问题,本文提出一种基于LinkNet模型的实时分割方法。首先,在编码区域构建一种新的注意力机制,捕获道路图像的位置以及通道依赖,增加目标特征的提取能力。然后,在中心区域引入空洞空间金字塔池化模型,在不影响图像分辨率的情况下捕获更加丰富的多尺度特征。在通用数据库上的实验结果表明,所提方法在Cityscapes数据集上MIoU达到了64.78%,与LinkNet相比较,提高了5.01%,同时对于细小目标物体以及边界分割视觉效果有明显的改善,分割准确率获得了较大提升。

基于空洞卷积的语义图像分割算法研究

图像语义分割是通过对图像中每个像素点分类别地进行标记,使机器能够自动识别并分割出图像中的不同内容。目前全卷积网络进行图像语义分割时,池化层使感受野增大,造成图像空间尺度信息丢失。使用空洞卷积神经网络对图像语义进行分割,能够消除池化层带来的减小图像尺寸问题,保持图像空间维度信息。文章对密集特征提取以及空间金字塔池化模块进行了优化,提出了一种新的语义分割网络。文章基于PASCAL VOC 2012数据集进行算法有效性的验证,相比于之前的算法分割准确性高11.4%。

基于改进U-Net结构生成对抗网络的运动模糊绝缘子图像复原方法

为通过提高输电线路巡检航拍绝缘子过程中产生的运动模糊图像质量来提高检测准确率,文章提出一种基于改进U-Net结构生成对抗网络的运动模糊绝缘子图像复原方法。为有效融合图像深、浅层特征,基于U-NetL1结构搭建生成网络,并在特征融合过程添加并行注意力机制,加强对有效特征的学习,下采样层级联空洞空间金字塔池化与残差模块,扩宽感受野和加深网络深度的同时避免梯度消失问题;另外,采用内容损失与对抗损失作为损失函数,以提高复原图像质量。构建绝缘子运动模糊图像数据集进行实验,与Deblur GAN、SRN等方法的对比结果表明,本文方法的峰值信噪比、结构相似度指标均高于其他算法;采用YOLOv4进行目标检测实验,其结果表明该方法对提升绝缘子检测准确率具有一定实际意义。

基于改进U-Net的遥感图像道路提取算法

针对基于U-Net模型对遥感图像道路特征提取能力不足、分割结果不清晰等问题,文章提出了一种改进的U-Net算法:首先在编码器中引入级联的空洞空间金字塔模块充分利用图像全局上下文信息从而改善分割结果模糊的问题;再通过在通道中嵌入坐标注意力机制模块加强对道路特征信息的提取,最后在解码器部分引入空间注意力机制旨在提高道路分割边缘的清晰度。实验表明:在马赛诸塞州数据集下改进后的U-Net模型比原始U-Net网络模型在Recall、F1-S cores和Io U三个指标下分别了提高了0.085、0.038、0.045,提取的道路结构更完整且相互连通,证明了算法优化的有效性。

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

基于DeeplabV3+网络的轻量化语义分割算法

针对传统语义分割模型参数量大、计算速度慢且效率不高等问题,改进一种基于DeeplabV3+网络的轻量化语义分割模型Faster-DeeplabV3+。Faster-DeeplabV3+模型采用轻量级MobilenetV2代替Xception作为主干特征提取网络,大幅减少参数量,提高计算速度;引入深度可分离卷积(deep separable convolution, DSC)与空洞空间金字塔(atrous spatia pyramid pooling, ASPP)中的膨胀卷积设计成新的深度可分离膨胀卷积(depthwise separable dilated convolution, DSD-Conv),即组成深度可分离空洞空间金字塔模块(DP-ASPP),扩大感受野的同时减少原本卷积参数量,提高运算速度;加入改进的双注意力机制模块分别对编码区生成的低级特征图和高级特征图进行处理,增强网络对不同维度特征信息提取的敏感性和准确性;融合使用交叉熵和Dice Loss两种损失函数,为模型提供更全面、更多样的优化。改进模型在PASCAL VOC 2012数据集上进行测试。实验结果表明:平均交并比由76.57%提升至79.07%,分割准确度由91.2%提升至94.3%。改进模型的网络参数量(params)减少了3.86×10~6,浮点计算量(GFLOPs)减少了117.98 G。因此,Faster-DeeplabV3+算法在大幅降低参数量、提高运算速度的同时保持较高语义分割效果。

健身行为的人体姿态估计及动作识别

人体姿态估计和动作识别在安防、医疗和运动等领域有着重要的应用价值。为了解决不同背景及角度下各类运动动作的人体姿态估计和动作识别问题,本文提出了一种改进的YOLOv7-POSE算法,并自行拍摄制作各种拍摄角度的数据集进行训练。此算法以YOLOv7为基础,对原始网络模型添加了分类的功能,在Backbone主干网络中引入CA卷积注意力机制,提升了网络在对人体骨骼关节点和动作的分类的重要特征的识别能力。用HorNet网络结构代替原模型的CBS卷积核,提高了模型的人体关键点检测精度和动作分类的准确度。将Head层的空间金字塔池化结构替换为空洞空间金字塔池化结构,提升了检测精度并且加快了模型收敛。将目标检测框的回归函数由CIOU替换为EIOU,提高了坐标回归的精度。设计了两组对照实验,实验结果证明,改进后的YOLOv7-POSE在验证集上的mAP为95.7%,相比于原始YOLOv7算法提高了4%,各类运动动作识别准确率显著上升,在实际推理中的关键点错检、漏检等情况明显减少,关键点位置估计误差明显降低。

基于PCSA-YOLOv7 Former的输电线路连接金具及其锈蚀检测方法

输电线路分布情况复杂且故障难以有效检测,其中连接金具长期暴露于复杂环境下易受到恶劣环境的影响出现锈蚀等故障。针对输电线路连接金具部件具有尺度多样性和存在着锈蚀故障检测精度低的问题,提出了一种基于双重注意力嵌入重构和Swin Transformer的输电线路连接金具组件及其锈蚀故障检测方法:PCSA-YOLOv7 Former。实验结果表明:该方法在构建的TLCF数据集上的综合检测性能领先于12类当前先进的目标检测算法,其中在测试集上的mAP_(0.5)达到94.9%,该方法相比于基线模型YOLOv7,其F1和mAP0.5指标分别提升了2.6个百分点和2.2个百分点,说明该方法能够更全面地理解输电线路连接金具图像中的多尺度语义信息并学习到不易区分的微小细节表征。