基于空洞空间池化金字塔的自动驾驶图像语义分割方法

如果车辆在道路上能精确而快速地理解人和车的语义,就能在很大程度上对障碍躲避、路径规划等做出指导。现有的基于深度学习的语义分割方法存在分割速度和分割精度不能兼得等问题。本文在现有语义分割网络的基础上,通过在特征提取基准网络后添加空洞空间池化金字塔结构,可以获取图像的多尺度语义信息。实验结果表明,文中提出的A_ASPP_1和A_ASPP_2两个模块能对自动驾驶场景中常见的人和各类车辆图像进行有效的分割。对应的两种改进的网络结构虽然分割速度稍有降低,但其训练结果的平均交并比相比现有双分支网络BiSeNet分别提升了2.1和1.2个百分点。

基于金字塔池化网络的质子交换膜燃料电池气体扩散层组分推理方法

针对质子交换膜燃料电池气体扩散层(gas diffusion layer composition,GDL)形貌划分与制备工艺改进问题,提出了一种基于金字塔池化网络(pyramid scene parsing network,PSPNet)与多层感知器(multi-layer perception,MLP)的气体扩散层组分识别与比例推理方法:首先将带标签的气体扩散层扫描电镜(scanning electron microscope,SEM)图片输入神经网络,得到特征图;得到的图像特征层进入金字塔池化模块后,获取SEM图像的深层和浅层特征;随后将深层和浅层特征图层融合输入全卷积网络(fully convolutional network,FCN)模块,得到预测图像;最后统计各个组分上的像素点比例,通过MLP完成组分比例推理。结果表明:所提方法组分识别像素准确率达81.24%;在5%偏差范围内,比例推理准确率为88.89%。该方法解决了气体扩散层多组分无法区分、比例无法获知的问题,可有效应用于气体扩散层的质检、数值重构以及制备工艺改进。

结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络

高空间分辨率(高分)遥感影像中存在海量信息,因此对高分影像的语义分割研究十分重要。传统机器学习方法的语义分割精度和效率均不高,近年来,深度学习方法迅速发展,逐渐成为影像语义分割领域的常用方法,已有研究将SegNet、Deeplabv3+、U-Net等神经网络引入遥感影像语义分割,但效果有限。考虑高分影像的特性,对用于遥感影像语义分割的U-Net网络进行了改进。首先,在U-Net网络特征提取过程中使用通道交互空间组注意力模块(channel interaction and spatial group attention module,CISGAM),使得网络能够获取更多有效特征。其次,在编码过程中将普通卷积层变换为残差模块,并在U-Net的编码器和解码器之间用加入了CISGAM的注意力金字塔池化模块(attention pyramid pooling module,APPM)连接,以加强网络对多尺度特征的提取。最后,在0.3 m分辨率的UC Merced数据集和1 m分辨率的GID数据集上进行实验,与U-Net、Deeplabv3+等原始网络相比,在UC Merced数据集上的平均交并比(mean intersection over union,MIoU)分别提升了14.56%和8.72%,平均像素准确率(mean pixel accuracy,MPA)分别提升了12.71%和8.24%。在GID数据集的分割结果中,水体、建筑物等地物的综合分割精度大幅提升,在平均分割精度上,CISGAM和APPM较常用的CBAM和PPM有一定提升。实验结果表明,加入CISGAM和APPM的网络可行性与鲁棒性均较传统网络强,其较强的特征提取能力有利于提升高分辨率遥感影像语义分割的精度,为高分辨率遥感影像智能解译提供新方案。

融合空洞空间金字塔池化和注意力的轻量化遥感影像道路提取

针对高分辨率遥感影像中道路形状结构错综复杂,出现窄小型道路提取错误或漏分的问题,提出一种基于空洞空间金字塔池化和注意力机制的轻量化遥感影像道路提取方法。首先,在原始高分辨率网络(HRNet)基础上,通过引入空洞空间金字塔池化模块,实现多尺度道路信息融合;再引入挤压激励通道注意力机制,增强网络特征表征质量;最后使用深度可分离卷积方法改进网络残差模块实现模型轻量化,以降低模型计算复杂度。在公开数据集上进行了模型性能测试,实验结果表明,文章所提算法的准确率、精确率、召回率、F1分数和平均交并比,相比原始HRNet分别提升了5.35%、2.15%、4.1%、3.15%和14.34%,且减少了36.1%的参数数量;相比其他网络,该算法突出了细小道路的特征,道路预测结果连续性、完整性好,并且模型小易于部署在实时检测设备中,有效改善了道路提取任务中错分和缺失的情况,是一种适应性更强、分割精度更高、更轻量化的多尺度道路提取算法。

基于注意力机制和多空间金字塔池化的实时目标检测算法

YOLOv4计算复杂度高,空间金字塔池化模块仅一次增强特征融合网络的深层区域特征图的表征能力、检测头网络的特征图难以突出重要通道特征;针对以上问题,提出一种基于注意力机制和多空间金字塔池化的实时目标检测算法;该算法采用多空间金字塔池化,提取局部特征和全局特征,融合多重感受野,加强特征融合网络的浅、中、深层特征图的表征能力;引入压缩激励通道注意力机制,建模通道间的相关性,自适应调整特征图各个通道的权重,从而使网络更加关注重要特征;特征融合和检测头网络中使用深度可分离卷积,减少了网络参数量;实验结果表明,所提算法的均值平均精度均高于其他7种主流对比算法;与YOLOv4相比,参数量、模型大小分别减少了27.85 M和106.25 MB,所提算法在降低复杂度的同时,提高了检测准确度,且该算法的检测速率达到33.70帧/秒,满足实时性要求。

混合坐标注意力与改进空间金字塔池化融合的物体位姿估计

在物体杂乱放置非遮挡和遮挡构成的复杂场景下,针对位姿实时、准确和稳定地估计的问题,提出了混合坐标注意力与改进空间金字塔池化融合的目标位姿估计算法。搭建了由坐标特征、通道特征和空间特征组成的混合坐标注意力残差模块,有效提高了关键点估计的准确率。改进了空间金字塔池化网络,并通过颈部位置的多尺度特征细化方法,获得边缘姿态及空间位置的高精确估计。将所制作的遮挡数据集,进一步验证所提出算法性能和泛化能力。在公开LineMod及Partial Occlusion遮挡数据集上,所提算法与基于组特征注意力(SA)算法相比ADD指标分别提高2.26%和2.57%,5cm5°指标分别提高5.16%和4.1%,达到了30 fps实时处理速度,为遮挡等复杂场景下的物体位姿估计提供一个有效的方法。

基于Res2net和金字塔池化的图像去雾算法

在计算机视觉的高级任务中,对图像的清晰度有很高的要求,目前基于深度学习的图像去雾算法仍存在一些问题,如细节丢失、色彩失真、去雾不完全等。为解决这些问题,设计了一种基于Res2net和金字塔池化的端到端图像去雾算法。该网络中,通过使用Res2net模块提取上下文特征,并利用金字塔池化模块融合不同尺度的特征信息。为了得到更好的网络模型,采用RESIDE数据集对提出的模型分别进行训练和测试。结果表明:该模型在主客观评价中都取得了不错的效果,极大地改善了去雾后图片色彩失真和去雾不够彻底的问题。

基于空洞空间金字塔池化的U-Net网络在肺部图像分割上的应用

目的:胸部X线图像中肺野的自动分割是相关疾病筛查和诊断的关键步骤,为了适应计算机辅助诊断系统的要求,提出一种基于空洞空间金字塔池化的U-Net网络对胸部X线图像中肺野进行自动分割。方法:在编码和解码之间引入带有空洞卷积的空间金字塔池化用于扩大接受域;同时,在多个尺度上获取图像上下文信息,用于从胸片中分割肺野,使用Montgomery数据集及深圳数据集进行验证。根据医学图像分割常用指标准确性、Dice相似系数及交并比评价基于空洞空间金字塔池化的U-Net网络分割肺野的性能。结果:验证准确性为98.29%,Dice相似系数为96.61%,交并比为93.47%。结论:本文提出一种基于空洞空间金字塔池化的U-Net网络用于分割肺野,相较于其他方法学习到更多边缘分割特征,取得更好的分割结果。

基于空间金字塔池化的YOLOv3的柑橘多分级研究

为研究食品工业环境下的柑橘分级工作,实现柑橘的快速与精确分级,提出使用基于空间金字塔池化(SPP)的YOLOv3算法来完成食品工业环境下的成熟柑橘的识别与检测。该研究构建了柑橘的图像数据集,并对图像进行预处理;通过在YOLOv3算法的基础上加入空间金字塔池化模块,使网络能够接受不同尺度的输入特征图,并对不同尺度的特征进行提取,从而改善了网络对图像特征信息的提取能力,进而提高模型的整体性能。试验结果表明,基于空间金字塔池化结构的YOLOv3网络对柑橘的多分级检测精确率达到95.08%。加入空间金字塔池化结构的YOLOv3网络对于柑橘表面特征具有更好的提取能力,能够提取到更多的柑橘表面特征信息。研究结果表明,本文使用的YOLOv3-SPP算法对食品工业环境下的柑橘分级具有较高的精确度,为柑橘的多分级工作提供了技术支持。

基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法

针对遥感图像(RSI)中的目标相对较小、形变多样,且包含分布不均匀的非目标和背景等问题,提出一种基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法。该方法利用空洞多尺度卷积提取多尺度目标的分类特征,运用空洞空间池化金字塔模块扩大卷积特征图的感受野,提取更充分的目标特征,并采用注意力机制、残差连接和长跳跃连接充分保留卷积层提取的RSI的敏感特征。在公开遥感图像数据库EORSSD上的实验结果表明,所提出的方法能够从复杂多样的RSI中检测多尺度目标,检测精度为96.56%。

多注意力机制金字塔池化金手指划痕分割方法

针对传统图像处理方法和基于深度学习的分类模型对金手指表面划痕检测效果不理想的情况,提出了一种多注意力机制金字塔池化方法对金手指表面划痕进行语义分割。采用ResNet50模型获取输入图像的特征图;在金字塔的不同层中将特征图分成大小不同的子区域,然后对每个子区域进行平均池化操作;池化后的特征图加入多种注意力机制来提取关键部分的特征信息,并使用边界细化模块对边缘区域进一步精细化,提高分割准确度。通过上采样,将四种不同尺寸的特征图采用级联的方式对划痕区域进行特征融合;与带有整体信息的特征图拼接后经过卷积操作得到最后的预测结果。实验结果表明,本文采用的方法较其他常用分割模型在MIOU和MPA指标上具有明显提升,分别达到86.03%和94.35%,具有一定的应用价值。

基于金字塔池化与注意力机制的视频去模糊算法

视频拍摄中,常因相机抖动或拍摄对象移动造成视频模糊,给后续的信息获取及视频处理带来干扰。为了更好地利用视频帧的全局上下文信息,本文提出了一种基于金字塔池化和注意力机制的视频去模糊算法。在视频去模糊的复原网络中引入金字塔池化,利用不同尺度的池化获得更加全面的全局上下文信息;使用注意力机制加强对全局上下文信息的利用,以达到提升视频去模糊的效果。在DVD数据集上的实验结果表明,该算法能够有效地提升视频复原效果。

基于动态图卷积和空间金字塔池化的点云深度学习网络

点云数据的分类和语义分割在自动驾驶、智能机器人、全息投影等领域中有着重要应用。传统手工提取点云特征的方式,以及将三维点云数据转化为多视图、体素网格等数据形式后再进行特征学习的方式,都存在处理环节多、三维特征损失大等问题,分类和分割的精度较低。目前可以直接处理点云数据的深度神经网络PointNet忽略了点云的局部细粒度特征,对复杂点云场景的处理能力较弱。针对上述问题,提出了一种基于动态图卷积和空间金字塔池化的点云深度学习网络。该网络在PointNet的基础上使用动态图卷积模块来替换PointNet中的特征学习模块,增强了网络对局部拓扑结构信息的学习能力;同时设计了一种基于点的空间金字塔池化结构来捕获多尺度局部特征,该方式比PointNet++的多尺度采样点云、重复分组进行多尺度局部特征学习的方法更加简洁高效。实验结果表明,在点云分类和语义分割任务的3个基准数据集上,所提网络相较于现有网络具有更高的分类和分割精度。

基于金字塔池化网络的道路场景深度估计方法

针对从单目视觉图像中估计深度信息时存在的预测精度不够准确的问题,该文提出一种基于金字塔池化网络的道路场景深度估计方法。该方法利用4个残差网络块的组合提取道路场景图像特征,然后通过上采样将特征图逐渐恢复到原始图像尺寸,多个残差网络块的加入增加网络模型的深度;考虑到上采样过程中不同尺度信息的多样性,将提取特征过程中各种尺寸的特征图与上采样过程中相同尺寸的特征图进行融合,从而提高深度估计的精确度。此外,对4个残差网络块提取的高级特征采用金字塔池化网络块进行场景解析,最后将金字塔池化网络块输出的特征图恢复到原始图像尺寸并与上采样模块的输出一同输入预测层。通过在KITTI数据集上进行实验,结果表明该文所提的基于金字塔池化网络的道路场景深度估计方法优于现有的估计方法。

基于改进空间金字塔池化卷积神经网络的交通标志识别

针对雾天、光照、遮挡和大倾角等因素导致的交通标志识别准确率低、泛化性差等问题,提出一种基于神经网络的轻量级交通标志识别方法。首先,利用图像归一化、仿射变换和限制对比度自适应直方图均衡化(CLAHE)方法进行图像预处理,以提高图像质量;其次,基于卷积神经网络(CNN),融合空间金字塔结构和批量归一化(BN)方法构建改进空间金字塔池化卷积神经网络(SPPN-CNN)模型,并利用Softmax分类器实现交通标志分类;最后,选用德国交通标志识别数据集(GTSRB),对比不同图像预处理方法、模型参数和模型结构的训练效果,并验证和测试所提模型。实验结果表明,SPPN-CNN模型的识别精度达到98.04%,损失小于0.1,在低配GPU条件下识别速率大于3000 frame/s,验证了模型精度高、泛化性强、实时性好的特点。

基于金字塔知识的自蒸馏HRNet目标分割方法

知识蒸馏能有效地将教师网络的表征能力迁移到学生网络,无须改变网络结构即可提升网络的性能.因此,在性能优异的目标分割主干网HRNet(High-Resolution Net)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与浅层信息充分融合导致直接蒸馏难以实现的挑战,本文提出一种基于多尺度池化金字塔的结构化自蒸馏学习模型:在HRNet分支结构中引入多尺度池化金字塔表示模块,提升网络的知识表示和学习能力;构造“自上而下”和“一致性”两种蒸馏模式;融合交叉熵损失、KL(Kullback-Leibler)散度损失和结构化相似性损失进行自蒸馏学习.在四个包含显著性目标和伪装目标的分割数据集上的实验表明:本文模型在不增加资源开销的前提下,有效提升了网络的目标分割性能.

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值.由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约,基于底层特征的传统计数方法准确率较低.本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling,RSPP)网络的人群计数方法.该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块,采用基于序的空间金字塔池化网络估计子图像块人数,然后相加所有子图像块人数得出原图像人数.提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响.提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块,而且解决了传统池化方法易损失大量重要信息和易过拟合的问题.实验结果表明,本文方法相比于传统方法具有准确率高和鲁棒性好的优点.

多尺度空间金字塔池化PCANet的行人检测

针对非理想条件下行人检测的性能和效率问题,提出多尺度空间金字塔PCANet。将空间金字塔作为网络的特征池化层,通过分层池化特征的方式获得图像的显著性特征,并将底层特征和高层特征级联以获得样本的多尺度特征的向量表示,输入SVM分类器。在INRIA和NICTA数据库中,与HOG、CNN等算法进行行人检测对比实验,结果表明,该算法有更高的正确检测率、更低的漏检率和误检率。

基于空洞空间金字塔池化和多头自注意力的特征提取网络

针对深度学习在图像处理领域中多尺度特征提取能力弱、特征内部信息捕获能力差的问题,提出了一种基于空洞空间金字塔池化和多头自注意力的特征提取网络(PPSANet)。首先,引入小扩张率的空洞卷积对空洞空间金字塔池化(ASPP)模型进行改进,提高局部特征信息的感受野;其次,将改进的ASPP模型合并到残差网络(ResNet)的每个残差块中,使网络在多个维度上都具有多尺度特征提取能力;最后,将残差网络的底层残差块替换为多头自注意力(MHSA),增强网络特征学习能力,捕获数据和特征内部的相关性。图像分割实验中,与残差网络相比,在肺结节数据集中DICE相似系数(DICE)提升了5.16个百分点,肝癌数据集中DICE提升了5.22个百分点;目标检测实验中,与残差网络相比,平均精度均值(MAP)提升了2.9个百分点。实验结果表明,PPSANet能够有效解决图像处理中多尺度特征提取能力弱和内部信息捕获能力差的问题,在一定程度上提高了图像处理的能力。

联合膨胀卷积残差网络和金字塔池化表达的高分影像建筑物自动识别

针对传统建筑物提取方法对视觉特征人为设计的依赖,以及基于全卷积神经网络模型对提取目标边缘轮廓保真度差和对不同粒度建筑物自适应提取弱等问题,该文提出一种联合膨胀卷积残差网络和金字塔池化表达的高分辨率遥感影像建筑物自动识别方法,其所构建的全卷积神经网络包括膨胀卷积残差网络和金字塔池化单元两部分。在残差网络中,通过膨胀卷积限制模型中特征图分辨率的严重损失,从而有效地保留更多的细节特征;在金字塔池化单元中,通过全局平均池化将特征图池化为不同尺度,并与原始的输入特征图相融合,形成多尺度特征表达。基于马萨诸塞州地区具有复杂地表覆盖的公开遥感影像数据集开展的实验表明,相比目前较为流行的几种全卷积神经网络分类方法,该文所提出的联合膨胀卷积残差网络和金字塔池化表达方法的提取精度更高,建筑物提取结果能够有效地保留边界的细节轮廓信息,同时对不同形状大小建筑物的自适应提取能力更强。