基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题,导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法,将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中,使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题,在分析“词汇”顺序对自注意力机制计算结果影响的基础上,利用希尔伯特曲线遍历设计新的图像降维算法,并将该算法加入到空间自注意力模块中,以提高其计算能力。仿真实验结果表明,该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高,小目标与物体边缘分割更加精细,其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%,较基准算法分别提升了0.68、1.35个百分点。

结合金字塔池化模块的YOLOv2的井下行人检测

煤矿井下的行人检测对于保障井下作业人员的安全至关重要。煤矿井下光照暗、粉尘大,直接用YOLOv2检测井下行人,准确率低,仅达到54.3%。针对此问题,以YOLOv2网络为基础,结合了金字塔场景解析网络(PSPnet)中的金字塔池化模块,充分利用图片的上下文信息,提出了YOLOv2_PPM网络。在井下行人检测数据集上进行实验,YOLOv2_PPM网络的准确率提升到63.5%,较YOLOv2网络增加了9.2%,且速度达到了39帧/s(FPS)。当输入图片的大小为480×480时,检测的准确率提升到71.6%,同时速度为28帧/s,满足了实时检测的要求。

水下机器人实时智能裂缝检测算法

大坝水下部分的裂缝检测是大坝维护维修的主要技术难点,采用水下机器人检测维修是未来发展的趋势。为解决水下机器人实现裂缝检测过程中的水下图像增强、语义分割、裂纹识别以及裂纹面积计算等问题,本文基于该工程需求提出了改进金字塔场景解析网络算法,并对该算法神经网络结构的超参数进行了优化。针对水下作业需求提出了激光辅助测量的面积计算方法,并进行了真实环境实验验证。实验数据表明:与其他算法相比所提出的网络结构优化了损失值、平均交并比。研究表明:优化后的语义分割算法能满足水下机器人作业对不同形态裂缝检测的实时性、精准性要求。

基于注意力机制与多尺度池化的实时语义分割网络

现有语义分割算法在精确度方面表现良好,但在速度上难以满足实时性要求。为提升网络分割速度同时确保高精确度,提出一种新型实时语义分割网络。设计融合通道注意力模块,先通过最大池化和平均池化捕捉全局特征,对池化后的特征图进行级联、卷积和变形以得到各通道权重,再将原特征图与各通道权重进行矩阵乘法操作,得到融合通道权重。将融合通道权重与原特征图进行元素级乘法操作,保证各通道权重与原特征图有效融合。提出一种轻量化金字塔场景解析模块,使用多尺度池化操作充分捕捉多尺度目标特征,在原金字塔场景解析模块的基础上减少池化后的特征图通道数,从而降低计算量。池化后特征图以级联方式连接,利用输入特征图引导连接后的特征图,以有效融合高层和低层特征图。在公共图像数据集Cityscapes上进行实验,结果表明,该网络在验证集、测试集上的准确率分别达到74.6%、73.8%,分割速度达到60.6帧/s,分割性能优于ICNet、DFANet-A等网络。

基于深度学习语义分割的导光板缺陷检测方法

当前导光板表面缺陷仍主要由人工肉眼观察进行检测,仅有少数生产厂家利用传统的图像处理方法进行检测.由于导光板缺陷在高分辨率工业相机拍摄的图像成像下仍极其微小,且不同缺陷的特征各异,以及整张导光板自身的导光点分布密集、不均匀等纹理特点,导致传统的图像处理检测方法需要经验丰富的视觉工程师进行大量的特征提取算法编程工作和昂贵的代码维护成本,准确率低且稳定性差,为此提出一种基于深度学习语义分割的缺陷检测方法.该方法通过训练神经网络的方式来自主学习提取导光板缺陷特征从而避免繁杂的特征提取算法编程工作.首先,对搜集的导光板缺陷进行缺陷标记,制作样本集;其次,利用迁移学习将预先训练好的金字塔场景解析网络(PSPNet)对标记样本进行再训练;进而,利用训练好的模型实现对导光板缺陷的检测;由于单独的深度学习语义分割缺陷检测方法通常无法满足工业实际应用需求,最后还需结合简单的机器视觉方法,对深度学习语义分割方法检出的所有疑似缺陷区域进行二次判断筛选.实验结果表明,该方法针对亮点、暗点和划痕3种缺陷的检出率高达96%,基本可以满足工业检测要求.

利用PSP Net实现湖北省遥感影像土地覆盖分类

提出了一种基于金字塔场景解析网络(pyramid scene parsing net,PSP Net)的深度学习算法。以湖北省遥感影像为实验数据,借助PSP Net的上下文场景解析能力,研究湖北省30 m分辨率的土地覆盖。实验使用了湖北省Landsat卫星影像中507景900×600像素的标准分幅影像,通过预处理生成了适用于深度学习的样本集。选择其中300景为样本,包括训练集240个、预测集44个和验证集16个。使用快速特征嵌入卷积结构(convolutional architecture for fast feature embedding,CAFFE)下的PSP Net模型对样本数据进行训练,设置了10×10-10的学习率,选择了第100万次的训练模型,很好地防止了数据的过拟合。通过模型的泛化和样本的泛化与迭代,对湖北省2000年、2005年、2010年3期的Landsat卫星影像土地覆盖进行分类,分类精度分别达到82.2%、83.4%和83.7%。研究结果表明,基于PSP Net的深度学习算法可以快速、有效和精确地实现大范围的遥感影像土地覆盖分类。