基于深度网络的图像语义分割综述

图像语义分割不仅预测一幅图像中的不同类别,同时还定位不同语义类别的位置,具有重要的研究意义和应用价值.本文阐述了图像语义分割最新的研究成果和方法,从三个角度综述了基于深度卷积神经网络的图像语义分割模型,分别是基于候选区域模型、基于全卷积网络模型和基于弱监督学习的语义分割模型,对这三类模型的方法和结构进行了详细的研究和分析.并在PASCAL VOC 2012数据集上对一些代表性的语义分割算法的性能进行了比较分析.

结合跳跃连接的残差网络图像语义分割

为解决图像语义分割中感知细节部分的能力较弱、分割结果粗糙的问题。首先利用深度残差网络-101取代完全卷积网络中的VGG-16;然后在conv3和conv4采用跳跃连接结构对上采样结果进行优化;最后以8倍上采样获得最终分割结果。实验使用PASCAL VOC2012数据集,从定性和定量两方面进行实验对比,实验表明所提出的方法平均IOU由67.3%提升至69.8%,并由测试结果显示改进的网络使得分割不同语义区域的边界明确且规整,提高了分割精度。

训练样本数量对HOG-SVM目标检测算法的影响

传统的计算机视觉目标检测算法通常采用特征提取加分类器的模式,在嵌入式系统中已有广泛的应用,然而传统目标检测算法在训练分类器时需要用到大量训练样本。针对样本获取相当费时费力问题,重点分析训练样本数量对目标检测算法的影响,通过确定最小样本数量,最大程度降低开发成本。首先将PASCAL VOC 2012图像识别数据集随机分成数量不等的子集,然后利用样本子集对HOG-SVM目标检测算法进行训练和检测。实验结果表明,当训练样本达到一定数量之后,算法的性能趋于稳定。

编码—解码结构的语义分割

目的语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码—解码结构的语义分割模型。方法运用Res Net-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样(DUpsampling)操作得到图像分割结果。结果此模型在2个公开数据集(Cityscapes数据集和PASCAL VOC 2012数据集)上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于Refine Net模型、Deep Labv2-CRF模型和LRR(Laplacian reconstruction and refinement)模型,平均交并比(m Io U)值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC2012数据集中,相比于Piecewise模型、DPN(deep parsing network)模型和GCRF(Gaussion conditional random field network)模型,m Io U值分别提高了6.23%、7.43%和8.33%。结论本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。