基于非对称空间金字塔池化的立体匹配网络

卷积神经网络因具有强大的表征能力而被广泛用于图像处理算法,但其在处理过程中存在耗时和信息损失等不足。为此,提出一种基于非对称空间金字塔池化模型的卷积神经网络结构。设计非对称金字塔池化方法融入立体匹配网络,以获取更详细的图像特征信息。分别叠加卷积核为3×3和1×1的卷积层,用于融合多尺度信息和提升网络收敛速度,同时将网络结构由4层增加至7层,以提高匹配精度。在KITTI和Middlebury数据集上进行视差预测,实验结果表明,与基准网络相比,该网络结构可使收敛时间缩短约50.1%,匹配错误率从6.65%降低至4.78%,在立体匹配中获得更平滑的视差效果。

基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法

针对遥感图像(RSI)中的目标相对较小、形变多样,且包含分布不均匀的非目标和背景等问题,提出一种基于空洞空间金字塔池化U-Net的遥感图像多目标检测方法。该方法利用空洞多尺度卷积提取多尺度目标的分类特征,运用空洞空间池化金字塔模块扩大卷积特征图的感受野,提取更充分的目标特征,并采用注意力机制、残差连接和长跳跃连接充分保留卷积层提取的RSI的敏感特征。在公开遥感图像数据库EORSSD上的实验结果表明,所提出的方法能够从复杂多样的RSI中检测多尺度目标,检测精度为96.56%。

结合空洞卷积和迁移学习改进YOLOv4的X光安检危险品检测

由于X光安检图像存在背景复杂,重叠遮挡现象严重,危险品摆放方式、形状差异较大等问题,导致检测难度较高。针对上述问题,本文在YOLOv4的基础上,结合空洞卷积对其网络结构进行改进,加入空洞空间金字塔池化(Atrous Space Pyramid Pooling,ASPP)模型,以此增大感受野,聚合多尺度上下文信息。然后,通过K-means聚类方法生成更适合X光安检危险品检测的初始候选框。其中,模型训练时采用余弦退火优化学习率,进一步加速模型收敛,提高模型检测精度。实验结果表明,本文提出的ASPP-YOLOv4检测算法在SIXRay数据集上的mAP达到85.23%。该方法能有效减少X光安检图像中危险品的误检率,提高小目标危险品的检测能力。

基于空洞卷积神经网络的毒株胚蛋裂纹分割

针对工厂机械设备的噪声和振动、胚蛋蛋壳表面的污斑和裂纹大小、光源打光方式会对裂纹检测产生严重影响,提出一种基于密集空洞卷积模块(DACM)与空洞空间金字塔池化结构(ASPP)的卷积神经网络(CNN)分割方法分割胚蛋裂纹。采用编码器-解码器网络结构与密集连接的空洞卷积结合,增强空间信息表示并重建不同尺度目标信息;同时,在网络浅层引入ASPP,获取多尺度特征,增强细节信息,提高网络分割性能。结果表明:在自制毒株胚蛋顶部裂纹与侧面裂纹数据集上,该方法的平均交并比(MIoU)分别达到了74.2%与81.3%,具有较强的鲁棒性。

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.

基于空洞卷积的语义图像分割算法研究

图像语义分割是通过对图像中每个像素点分类别地进行标记,使机器能够自动识别并分割出图像中的不同内容。目前全卷积网络进行图像语义分割时,池化层使感受野增大,造成图像空间尺度信息丢失。使用空洞卷积神经网络对图像语义进行分割,能够消除池化层带来的减小图像尺寸问题,保持图像空间维度信息。文章对密集特征提取以及空间金字塔池化模块进行了优化,提出了一种新的语义分割网络。文章基于PASCAL VOC 2012数据集进行算法有效性的验证,相比于之前的算法分割准确性高11.4%。

CASPN:基于级联空间金字塔的人脸关键点定位网络

针对非限制环境下人脸关键点定位的诸多干扰因素,如遮挡、阴影,以及如何设计更加轻量、快速的神经网络的问题,尝试并联不同空洞率的空洞卷积应用于人脸关键点定位,在保持特征分辨率的同时,快速增大并且获取多重感受野信息来获得更全局的语义信息,同时结合特征融合为精确定位关键点与关键点猜测提供丰富的上下文信息,以此提出一种实时、轻量级、高检测精度的人脸关键点定位网络。该网络的参数量约为2.7million,模型只有10.6 MB,在保持高检测精度的同时,在GTX1080设备上可达约150 fps的处理速度。目前在流行的数据集中也获得了优异的评估结果,其中在WFLW测试集中取得了5.40%的mean error与7.36%的failure rate。

基于多元空洞特征金字塔的电气设备图像实例分割方法

电气设备图像自动分割识别是电力设备无人巡检系统的核心技术.根据变电站电气设备3996幅人工巡检图像库,建立并标记了含1730幅图像的巡检数据集.针对Mask R-CNN网络对图像边缘信息处理不佳、小目标识别率低等问题,提出多元特征金字塔结构,引入带空洞空间卷积的池化金字塔模块,提出多元空洞特征金字塔网络,有效克服尺度变化带来的漏检现象.在自建数据集上的识别与实例分割对比测试显示,文中网络能准确识别避雷器、电流互感器等6类典型的电气设备,识别精度和分割精度较经典网络分别提高4%和6%,能有效识别小尺度目标.

基于U-Net和特征金字塔网络的秸秆覆盖率计算方法

针对田间秸秆覆盖分散、秸秆形态多样,细碎秸秆识别困难,传统图像识别方法易受光照、阴影等因素干扰等问题,本文以黑龙江省齐齐哈尔市龙江县为研究地点,构建田间秸秆图像数据集;对图像进行裁剪、标注后,构建了以U-Net为基础网络的秸秆检测模型。将编码阶段的网络结构换成ResNet34的前4层作为特征提取器,增加模型的复杂度,增强秸秆特征的提取;为增强秸秆边缘识别,在最高语义信息层对深层特征图使用多分支非对称空洞卷积块(Multibranch asymmetric dilated convolutional block, MADC Block)提取多尺度的图像特征;为增加细碎秸秆的检测能力,在跳跃连接阶段使用密集特征图金字塔网络(Dense feature pyramid networks, DFPN)进行低层特征图和高层特征图的信息融合,利用特征图对应秸秆图像中感受野的不同,解决秸秆形态多样的问题;为避免秸秆特征图在上采样时的无效计算,解码阶段使用快速上卷积块(Fast up-convolution block, FUC Block)进行上采样,避免秸秆特征图在上采样时的无效计算。试验表明,本文算法在车载相机采集到的秸秆图像数据集上平均交并比为84.78%,相比U-Net提高2.59个百分点,该网络对于640像素×480像素的图像平均处理时间低于3 ms,符合作业检测时的时间复杂度要求,算法在一定程度上改善了阴影区域秸秆的识别问题,提高了细碎秸秆的识别能力。

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构(ResNet)进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作(ASPP)对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络(AUNet)、全景特征金字塔网络(Panoptic FPN)、亲和金字塔单阶段实例分割算法(SSAP)、联合全景分割网络(UPSNet)、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量(PQ)值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率(AP)、目标IoU阈值超过50%的平均精确率(AP50)分别提升了0.002与0.014,平均交并比(mIoU)值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。

基于注意力机制和深度卷积神经网络的材质识别方法

材质识别旨在识别自然材质图像中的主要对象及其所属材料类别。针对材质图像数据集通常数据量少、人工标注局部纹理区域困难所导致的材质识别准确率低的问题,提出了一种基于注意力机制和深度卷积神经网络的材质识别方法,该方法的核心是材质识别深度卷积神经网络(MaterialNet)。MaterialNet利用深度残差网络对图像进行特征提取,采用所提出的级联空洞空间金字塔池化的方式引入注意力机制,使网络可以通过端到端训练自适应地关注包含纹理特征的关键区域,从而有效识别材质的局部纹理特征。在FMD材质数据集上进行实验,结果表明,MaterialNet的总体识别准确率可达到82.3%,比当前主流的B-CNN和CNN+FV材质识别方法分别提高了7.2%和4.5%,对多种材质的识别准确率较高且具有参数量少、计算量小等优点。

全卷积注意力机制神经网络的图像语义分割

全卷积神经网络是一种强大的端到端的模型,在语义分割领域应用广泛,获得了巨大的成功。研究人员提出了一系列基于完全卷积神经网络的方法,但是随着卷积和池化的持续性下采样,图像的上下文信息将会丢失,影响了像素级分类。针对完全卷积网络上下文信息丢失问题,提出基于像素的注意力方法。该方法利用计算高级特征图像素之间的联系来获取全局信息,增强像素之间的相关性,再结合空洞空间金字塔池化进一步提取图像的特征信息。针对图像的高层特征图像素丢失的问题,提出了基于图像不同层级的注意力方法。该方法将高层特征图中的信息作为指导对低层特征图中隐藏的信息进行挖掘,然后和高级特征图进行融合,充分利用高级特征图信息和低级特征图的信息。在实验方面,通过对比所提不同模块对全卷积神经网络分割性能的影响,验证了所提方法的有效性。同时在公认的图像语义分割数据集Cityscapes上与当前先进的网络进行实验对比,结果显示所提方法在客观评价指标和主观效果方面均存在优越性,并在Cityscapes官网测试集中达到了69.3%的准确率,性能比近期几个先进网络高出3~5个百分点。

一种基于卷积神经网络的立体匹配算法设计

为了解决传统立体匹配算法对立体图像在低纹理以及遮挡区域匹配效果较差的问题,设计了一种端到端的基于卷积神经网络(Convolutional Neural Network,CNN)的立体匹配算法。该算法采取了残差卷积神经网络对图像特征进行提取,之后利用空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块来获取图像的上下文信息,并结合多尺度的三维卷积神经网络对代价空间进行规整,最终实现了高精度的立体匹配算法。所获取的视差图在KITTI2015测试平台上的误匹配率为2.42%,与几何上下文(Geometry and Context,GC)网络相比较,视差图的精度提高了0.45%,且运行时间缩短了一半。

改进全卷积神经网络的甲状腺结节分割方法

为了更加精确地分割出甲状腺结节,本文提出了一种改进的全卷积神经网络(Fully convolutional network,FCN)分割模型。相较于FCN,本文方法加入了空洞空间卷积池化金字塔(Atrousspatialpyramidpooling,ASPP)模块与多层特征传递模块(Featuretransfer,FT),并采用LinkNet模型中Decoder模块进行上采样,VGG16主干网络实现特征提取下采样。实验采用来自斯坦福AIMI(Artificial intelligence in medicine and imaging)共享数据集的17413张超声甲状腺结节图像分别用于训练、验证和测试。实验结果表明,相比于其他多种分割模型,本文模型在平均交并比(mean Intersection over union,mIoU),Dice相似系数,F1分数3个分割指标上分别达到了79.7%,87.6%和98.42%,实现了更好的分割效果,有效地提升了甲状腺结节的分割精确度。

基于短距离跳跃连接的U2-Net+医学图像语义分割

医学图像分割是保障发展智慧医疗系统的先决条件之一。由于原U2-Net+网络的跳跃连接只关注同分辨率所提取的特征,所以在设计时借鉴FR-UNet网络加入中间层,接收深层的上下文信息与浅层提取的高分辨率特征进行整合;并在中间层的下采样使用非对称空洞空间卷积金字塔代替,增加网络模型训练时对边缘信息的关注,并在结构最后加入阈值增强模块,加强对细小特征边缘的识别与分割;同时加入到上采样中,帮助网络更好地提取多尺度特征,增加上下文语义关联。根据正负样本不均衡和难易不同的问题设计了组合的损失函数来监督网络优化。实验结果表明,所提算法在DRIVE、STARE+CHASE_DB1数据集上的F1分数分别提高了1.8%与4.2%,在ISIC2018数据集上的DSC分数提高了2.3%。对分割结果进行可视化后表明,该网络在样本较小的情况下可以充分提取到更加精确的边缘信息和细小的特征信息,提高语义分割的效果,所提算法在医学图像语义分割任务上有更好的表现。

基于深度卷积神经网络的地震相识别

近年来,随着深度学习技术的快速发展,尤其在计算机视觉等领域取得了重大进展。地震相解释为分析地质环境和预测油气藏提供了重要基础。大多现有方法对地震数据解释效率低,严重依赖地震资料解释人员通过检查地震反射、相位、频率、连续性和方向的空间变化来识别地震相的人工操作。本论文采用深度学习中先进算法来实现地震相的自动解释,大幅度减轻解释人员对地震数据的解释经验和专业知识。通过改进VGG16网络模型,在全连接层前端添加混合空洞卷积和空洞空间金字塔池化模块,获取地震剖面的全局信息。

基于DeeplabV3+网络的轻量化语义分割算法

针对传统语义分割模型参数量大、计算速度慢且效率不高等问题,改进一种基于DeeplabV3+网络的轻量化语义分割模型Faster-DeeplabV3+。Faster-DeeplabV3+模型采用轻量级MobilenetV2代替Xception作为主干特征提取网络,大幅减少参数量,提高计算速度;引入深度可分离卷积(deep separable convolution, DSC)与空洞空间金字塔(atrous spatia pyramid pooling, ASPP)中的膨胀卷积设计成新的深度可分离膨胀卷积(depthwise separable dilated convolution, DSD-Conv),即组成深度可分离空洞空间金字塔模块(DP-ASPP),扩大感受野的同时减少原本卷积参数量,提高运算速度;加入改进的双注意力机制模块分别对编码区生成的低级特征图和高级特征图进行处理,增强网络对不同维度特征信息提取的敏感性和准确性;融合使用交叉熵和Dice Loss两种损失函数,为模型提供更全面、更多样的优化。改进模型在PASCAL VOC 2012数据集上进行测试。实验结果表明:平均交并比由76.57%提升至79.07%,分割准确度由91.2%提升至94.3%。改进模型的网络参数量(params)减少了3.86×10~6,浮点计算量(GFLOPs)减少了117.98 G。因此,Faster-DeeplabV3+算法在大幅降低参数量、提高运算速度的同时保持较高语义分割效果。

基于稠密块改进LinkNet的高分遥感图像道路提取

针对LinkNet网络模型在进行道路图像分割任务时,特征信息易丢失以及缺乏对目标特征的关注度问题,提出了一种基于改进LinkNet残差网络的高分遥感图像道路提取方法。将原本LinkNet模型中编码区的残差块(Res Block)替换为稠密块(Dense Block),密集连接的方式减少特征信息在传递过程中的损失,并在每个稠密块之后构建卷积注意力单元来提高模型对目标特征的学习能力,最后用空洞空间金字塔池化模块将编码区与解码区进行连接,扩大感受野的同时还能接受多尺度目标特征信息。实验表明,该方法在DeepGlobe数据集上的准确率、平均交并比和F1-score分为82.16%、83.21%和81.65%,均优于同类网络,通过对提取的路网结果对比,该算法对于树木遮蔽处以及建筑物阴影下的路网提取在完整性和准确性上都具有明显提升。

基于双路径和空洞空间金字塔池化的血液白细胞分割

血涂片图像中白细胞的计数和识别对诊断包括白血病在内的血液疾病起着至关重要的作用。传统的人工检测结果容易受到多种因素的干扰,有必要开发白细胞自动分析系统为医生提供辅助诊断,而血液白细胞分割则是自动分析的基础。本文改进U-Net模型,提出一种基于双路径和空洞空间金字塔池化的血液白细胞分割算法。首先在特征编码器中引入双路径网络提取图像中白细胞的多尺度特征,并使用空洞空间金字塔池化模块强化网络的特征提取能力,再用卷积和反卷积组成特征解码器将分割目标恢复到原始图像大小,实现血液白细胞的像素级分割。最后在三个白细胞数据集上进行定性定量实验,验证本文算法的有效性。研究结果表明,提出的血液白细胞分割算法相对于其他典型方法具有更为优秀的分割结果,mIoU值能达到0.97以上,今后或有助于血液疾病的自动辅助诊断。

基于改进的IIE-SegNet的快速图像语义分割方法

针对IIE-SegNet计算复杂度高、计算量大等问题,本文提出一种基于IIE-SegNet的改进方法。编码结构中引入经ImageNet训练过的VGG16和多尺度空洞卷积空间金字塔池化来获得丰富的编码信息;解码结构中,设计全局加平均模块来解决IIE-SegNet计算量大的问题;研究Focal损失函数来解决正、负采样不平衡的问题。实验结果表明:与IIE-SegNet相比,本方法在PASCAL VOC 2012数据集上的语义分割速度更快,平均每次迭代快0.6 s左右,测试单张图像的时间平均减少了0.94 s;分割精度更高,MIoU提升了2.1%。在扩展的PASCAL VOC 2012(Exp-PASCAL VOC 2012)数据集上的语义分割速度更快,平均每次迭代快0.4 s左右,测试单张图像的时间平均减少了0.92 s;分割精度更高,MPA和MIoU分别提升了2.6%和2.8%,特别是对于小尺度目标分割边界更清晰,性能得到了很大的提升。