基于空洞卷积与注意力模块的立体匹配算法

基于卷积神经网络的立体匹配算法大多需要较大的感受野,但多数算法在扩大感受野的同时参数量也容易剧增,导致算法对训练数据的规模要求较高。提出一种基于空洞卷积和注意力模块的立体匹配算法,采用空洞卷积模块,将残差结构和空洞卷积相结合,以在较少参数量的情况下扩大网络的感受野。使用注意力模块,通过不同层次的卷积整合多层次的信息,增加所提取信息的完整性。采用空间金字塔池化模块,通过帯权的金字塔池化扩大模型的感受野,并赋予不同层次信息不同的重要性程度。实验结果表明,在相同数据集和训练次数的情况下,所提算法相对于DispNetC等其他算法具有较快的收敛速度,且结构简单,参数量较少,适用于小样本数据。

基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法

针对遥感图像(RSI)中的目标相对较小、形变多样,且包含分布不均匀的非目标和背景等问题,提出一种基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法。该方法利用空洞多尺度卷积提取多尺度目标的分类特征,运用空洞空间池化金字塔模块扩大卷积特征图的感受野,提取更充分的目标特征,并采用注意力机制、残差连接和长跳跃连接充分保留卷积层提取的RSI的敏感特征。在公开遥感图像数据库EORSSD上的实验结果表明,所提出的方法能够从复杂多样的RSI中检测多尺度目标,检测精度为96.56%。

基于多元空洞特征金字塔的电气设备图像实例分割方法

电气设备图像自动分割识别是电力设备无人巡检系统的核心技术.根据变电站电气设备3996幅人工巡检图像库,建立并标记了含1730幅图像的巡检数据集.针对Mask R-CNN网络对图像边缘信息处理不佳、小目标识别率低等问题,提出多元特征金字塔结构,引入带空洞空间卷积的池化金字塔模块,提出多元空洞特征金字塔网络,有效克服尺度变化带来的漏检现象.在自建数据集上的识别与实例分割对比测试显示,文中网络能准确识别避雷器、电流互感器等6类典型的电气设备,识别精度和分割精度较经典网络分别提高4%和6%,能有效识别小尺度目标.

结合空洞卷积和迁移学习改进YOLOv4的X光安检危险品检测

由于X光安检图像存在背景复杂,重叠遮挡现象严重,危险品摆放方式、形状差异较大等问题,导致检测难度较高。针对上述问题,本文在YOLOv4的基础上,结合空洞卷积对其网络结构进行改进,加入空洞空间金字塔池化(Atrous Space Pyramid Pooling,ASPP)模型,以此增大感受野,聚合多尺度上下文信息。然后,通过K-means聚类方法生成更适合X光安检危险品检测的初始候选框。其中,模型训练时采用余弦退火优化学习率,进一步加速模型收敛,提高模型检测精度。实验结果表明,本文提出的ASPP-YOLOv4检测算法在SIXRay数据集上的mAP达到85.23%。该方法能有效减少X光安检图像中危险品的误检率,提高小目标危险品的检测能力。

基于空洞卷积神经网络的毒株胚蛋裂纹分割

针对工厂机械设备的噪声和振动、胚蛋蛋壳表面的污斑和裂纹大小、光源打光方式会对裂纹检测产生严重影响,提出一种基于密集空洞卷积模块(DACM)与空洞空间金字塔池化结构(ASPP)的卷积神经网络(CNN)分割方法分割胚蛋裂纹。采用编码器-解码器网络结构与密集连接的空洞卷积结合,增强空间信息表示并重建不同尺度目标信息;同时,在网络浅层引入ASPP,获取多尺度特征,增强细节信息,提高网络分割性能。结果表明:在自制毒株胚蛋顶部裂纹与侧面裂纹数据集上,该方法的平均交并比(MIoU)分别达到了74.2%与81.3%,具有较强的鲁棒性。

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.

基于动态金字塔和子空间注意力的图像超分辨率重建网络

针对现有单图像超分辨率卷积神经网络存在模型参数过多以及重建失真过大的问题,提出了一种基于动态金字塔结构与子空间注意力模块的轻量级单图像超分辨率网络模型。首先,所采用的动态多尺度金字塔特征组合模块的网络主体由动态卷积和金字塔分组卷积构成。其次,动态卷积可以根据不同的图像内容自适应地进行不同的卷积操作,从而对不同的图像提取出不同的特征;金字塔分组卷积不仅可以更好地提取多尺度图像特征信息,而且能够有效降低网络模型的参数量。最后,在网络模型末端采用子空间注意力模块,将图像的通道空间分为多个子空间,并为每个子空间学习不同的注意力图,这样不仅可以更好地捕获图像的跨通道相关信息,而且可以有效融合各子空间的图像特征信息。与现有主流算法相比,所提方法不仅具有更小的网络模型参数量,而且重建出的超分辨率图像在视觉效果和定量分析方面均能取得更好的表现。

基于空洞卷积的语义图像分割算法研究

图像语义分割是通过对图像中每个像素点分类别地进行标记,使机器能够自动识别并分割出图像中的不同内容。目前全卷积网络进行图像语义分割时,池化层使感受野增大,造成图像空间尺度信息丢失。使用空洞卷积神经网络对图像语义进行分割,能够消除池化层带来的减小图像尺寸问题,保持图像空间维度信息。文章对密集特征提取以及空间金字塔池化模块进行了优化,提出了一种新的语义分割网络。文章基于PASCAL VOC 2012数据集进行算法有效性的验证,相比于之前的算法分割准确性高11.4%。

CASPN:基于级联空间金字塔的人脸关键点定位网络

针对非限制环境下人脸关键点定位的诸多干扰因素,如遮挡、阴影,以及如何设计更加轻量、快速的神经网络的问题,尝试并联不同空洞率的空洞卷积应用于人脸关键点定位,在保持特征分辨率的同时,快速增大并且获取多重感受野信息来获得更全局的语义信息,同时结合特征融合为精确定位关键点与关键点猜测提供丰富的上下文信息,以此提出一种实时、轻量级、高检测精度的人脸关键点定位网络。该网络的参数量约为2.7million,模型只有10.6 MB,在保持高检测精度的同时,在GTX1080设备上可达约150 fps的处理速度。目前在流行的数据集中也获得了优异的评估结果,其中在WFLW测试集中取得了5.40%的mean error与7.36%的failure rate。

基于尺度空间金字塔网络的人群计数算法

针对人群密度大和分布不均等因素造成计数困难的问题,提出了一种基于尺度空间金字塔网络的人群计数算法。首先通过迁移经典网络VGG16的前10层作为前端模块提取初步特征;然后使用尺度空间金字塔模块提取多尺度人群特征,并在该模块中引入扩张卷积,通过增大感受野进一步优化特征图,以解决人群拥挤和人群分布不均的问题;最后使用1×1的卷积层将特征图回归为密度图。实验结果表明,与对比算法相比,所提算法的平均绝对误差(mean absolute error,MAE)和均方误差(mean square error,MSE)均显著降低,可取得较好的人群计数效果。

改进全卷积神经网络的甲状腺结节分割方法

为了更加精确地分割出甲状腺结节,本文提出了一种改进的全卷积神经网络(Fully convolutional network,FCN)分割模型。相较于FCN,本文方法加入了空洞空间卷积池化金字塔(Atrousspatialpyramidpooling,ASPP)模块与多层特征传递模块(Featuretransfer,FT),并采用LinkNet模型中Decoder模块进行上采样,VGG16主干网络实现特征提取下采样。实验采用来自斯坦福AIMI(Artificial intelligence in medicine and imaging)共享数据集的17413张超声甲状腺结节图像分别用于训练、验证和测试。实验结果表明,相比于其他多种分割模型,本文模型在平均交并比(mean Intersection over union,mIoU),Dice相似系数,F1分数3个分割指标上分别达到了79.7%,87.6%和98.42%,实现了更好的分割效果,有效地提升了甲状腺结节的分割精确度。

基于DeeplabV3+网络的轻量化语义分割算法

针对传统语义分割模型参数量大、计算速度慢且效率不高等问题,改进一种基于DeeplabV3+网络的轻量化语义分割模型Faster-DeeplabV3+。Faster-DeeplabV3+模型采用轻量级MobilenetV2代替Xception作为主干特征提取网络,大幅减少参数量,提高计算速度;引入深度可分离卷积(deep separable convolution, DSC)与空洞空间金字塔(atrous spatia pyramid pooling, ASPP)中的膨胀卷积设计成新的深度可分离膨胀卷积(depthwise separable dilated convolution, DSD-Conv),即组成深度可分离空洞空间金字塔模块(DP-ASPP),扩大感受野的同时减少原本卷积参数量,提高运算速度;加入改进的双注意力机制模块分别对编码区生成的低级特征图和高级特征图进行处理,增强网络对不同维度特征信息提取的敏感性和准确性;融合使用交叉熵和Dice Loss两种损失函数,为模型提供更全面、更多样的优化。改进模型在PASCAL VOC 2012数据集上进行测试。实验结果表明:平均交并比由76.57%提升至79.07%,分割准确度由91.2%提升至94.3%。改进模型的网络参数量(params)减少了3.86×10~6,浮点计算量(GFLOPs)减少了117.98 G。因此,Faster-DeeplabV3+算法在大幅降低参数量、提高运算速度的同时保持较高语义分割效果。

基于稠密块改进LinkNet的高分遥感图像道路提取

针对LinkNet网络模型在进行道路图像分割任务时,特征信息易丢失以及缺乏对目标特征的关注度问题,提出了一种基于改进LinkNet残差网络的高分遥感图像道路提取方法。将原本LinkNet模型中编码区的残差块(Res Block)替换为稠密块(Dense Block),密集连接的方式减少特征信息在传递过程中的损失,并在每个稠密块之后构建卷积注意力单元来提高模型对目标特征的学习能力,最后用空洞空间金字塔池化模块将编码区与解码区进行连接,扩大感受野的同时还能接受多尺度目标特征信息。实验表明,该方法在DeepGlobe数据集上的准确率、平均交并比和F1-score分为82.16%、83.21%和81.65%,均优于同类网络,通过对提取的路网结果对比,该算法对于树木遮蔽处以及建筑物阴影下的路网提取在完整性和准确性上都具有明显提升。

基于改进的IIE-SegNet的快速图像语义分割方法

针对IIE-SegNet计算复杂度高、计算量大等问题,本文提出一种基于IIE-SegNet的改进方法。编码结构中引入经ImageNet训练过的VGG16和多尺度空洞卷积空间金字塔池化来获得丰富的编码信息;解码结构中,设计全局加平均模块来解决IIE-SegNet计算量大的问题;研究Focal损失函数来解决正、负采样不平衡的问题。实验结果表明:与IIE-SegNet相比,本方法在PASCAL VOC 2012数据集上的语义分割速度更快,平均每次迭代快0.6 s左右,测试单张图像的时间平均减少了0.94 s;分割精度更高,MIoU提升了2.1%。在扩展的PASCAL VOC 2012(Exp-PASCAL VOC 2012)数据集上的语义分割速度更快,平均每次迭代快0.4 s左右,测试单张图像的时间平均减少了0.92 s;分割精度更高,MPA和MIoU分别提升了2.6%和2.8%,特别是对于小尺度目标分割边界更清晰,性能得到了很大的提升。

Res_ASPP_UNet++:结合分离卷积与空洞金字塔的遥感影像建筑物提取网络

针对连续池化操作丢失低层语义信息而导致建筑物提取精度低的问题,尝试以UNet++网络为基础,通过将编码器的标准卷积及最大池化替换成深度可分离卷积,以及在编码器末端利用不同采样率的空洞卷积构建多尺度空洞空间金字塔池化结构ASPP(Atrous Spatial Pyramid Pooling)来提升网络性能,并将改进后的建筑物提取网络称为残差空洞空间金字塔网络(Res_ASPP_UNet++)。为验证Res_ASPP_UNet++网络结构的有效性和适用性,以经过数据增强预处理的WHU和Massachusetts数据集作为数据源,对Res_ASPP_UNet++网络与目前常用的语义分割网络进行了试验和精度评估,并将Res_ASPP_UNet++网络与文献中的研究成果进行了对比。结果表明Res_ASPP_UNet++在模型参数量与精度两个方面均表现出优势,能够在大幅压缩模型参数量的前提下,显著提升建筑物提取精度,提取建筑物的边界更加平滑和精确,对不同尺度的建筑物表现出较强的泛化能力。

基于CNN-Transformer结构的遥感影像变化检测

现代高分辨率遥感图像变化检测借助卷积神经网络(Convolutional Neural Network,CNN)取得了显著成果。然而,卷积操作的感受野限制导致在学习全局上下文和远程空间关系方面存在不足。虽然视觉Transformer能有效捕获远程特征的依赖性,但其对影像变化细节的处理不足,导致空间定位能力有限且计算效率低下。为解决上述问题,本文提出了一种基于空间空洞金字塔池化的跨层级联线性融合端到端编解码混合CNN-Transformer的变化检测模型,兼具视觉Transformer和CNN的优势。首先,利用孪生CNN网络提取图像特征,并借助空洞金字塔池化模块对特征进行精细处理,从而更精准地捕获图像的细节特征信息。其次,将提取的特征转化为视觉单词,并通过Transformer编码器进行建模,以获取丰富的上下文信息。这些信息随后被反馈至视觉空间,通过Transformer解码器对原始特征进行强化,提升特征的表达效果。接着,采用跨层级联的方式将CNN提取的特征与Transformer编解码的特征进行融合,利用上采样技术联系不同分辨率的特征图,实现位置信息与语义信息的融合。最后,通过差异增强模块生成包含丰富变化信息的差异特征图。在LEVIR、CDD、DSIFN和WHUCD 4个公开遥感数据集上的广泛实验验证了本文方法的有效性。与其他先进方法相比,本文模型的分类性能更出色,有效改善了变化检测中的欠分割、过分割及边缘粗糙等问题。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

改进Unet++的肾脏肿瘤分割方法

针对人工方式分割CT图像肾脏肿瘤区域耗时费力且存在主观因素影响等问题,提出一种基于卷积神经网络的肾脏肿瘤自动分割算法。算法以Unet++分割网络为基础框架,将预训练的ResNet-34网络中四个特征提取模块作为Unet++网络特征编码器,来提取图像特征信息;并将重新设计的空洞空间金字塔池化网络嵌入到Unet++每条解码路径中;不同的解码路径通过特征融合得到肾脏肿瘤分割结果。在KiTS19竞赛提供的数据集上进行验证,实验结果表明,该算法有效提高了CT图像肾脏肿瘤的分割精度。

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构(ResNet)进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作(ASPP)对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络(AUNet)、全景特征金字塔网络(Panoptic FPN)、亲和金字塔单阶段实例分割算法(SSAP)、联合全景分割网络(UPSNet)、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量(PQ)值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率(AP)、目标IoU阈值超过50%的平均精确率(AP50)分别提升了0.002与0.014,平均交并比(mIoU)值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。

改进Mask R-CNN的无人机影像建筑物提取

从无人机影像中自动提取建筑物对城乡规划和管理至关重要,然而,在复杂背景干扰和建筑物外观变化很大的情况下给实例提取带来挑战。因此,提出一种改进的Mask区域卷积神经网络(R-CNN)方法用于无人机影像的建筑物自动实例提取。改进方法以ResNet-101作为特征提取网络,在特征融合网络方面,通过添加自底向上的路径增强整个特征层次的定位能力,同时在特征融合中加入空洞空间金字塔池化模块(ASPP)来提高多尺度能力与改善模型性能。在自制建筑物数据集上的综合实验结果表明,与原始的Mask R-CNN方法相比,改进方法的mAP值提高了2.6%,能够很好地实现无人机影像建筑物实例提取。