基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题,导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法,将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中,使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题,在分析“词汇”顺序对自注意力机制计算结果影响的基础上,利用希尔伯特曲线遍历设计新的图像降维算法,并将该算法加入到空间自注意力模块中,以提高其计算能力。仿真实验结果表明,该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高,小目标与物体边缘分割更加精细,其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%,较基准算法分别提升了0.68、1.35个百分点。

结合金字塔池化模块的YOLOv2的井下行人检测

煤矿井下的行人检测对于保障井下作业人员的安全至关重要。煤矿井下光照暗、粉尘大,直接用YOLOv2检测井下行人,准确率低,仅达到54.3%。针对此问题,以YOLOv2网络为基础,结合了金字塔场景解析网络(PSPnet)中的金字塔池化模块,充分利用图片的上下文信息,提出了YOLOv2_PPM网络。在井下行人检测数据集上进行实验,YOLOv2_PPM网络的准确率提升到63.5%,较YOLOv2网络增加了9.2%,且速度达到了39帧/s(FPS)。当输入图片的大小为480×480时,检测的准确率提升到71.6%,同时速度为28帧/s,满足了实时检测的要求。

基于改进PSPnet-MobileNetV2的煤岩界面快速精准识别

针对短时间主动热激励作用下煤岩介质表征差异不明显,不易快速、准确识别煤岩界面的难题,提出一种基于改进金字塔场景解析网络(pyramid scene parsing network,简称PSPnet)模型-MobileNetV2的煤岩界面快速精准识别方法。通过搭建煤岩主动红外试验平台,采集并获取短时主动热激励作用下的煤岩界面红外热图像,构建了煤岩红外图像数据集;对传统PSPnet模型进行改进,采用轻量级网络模型MobileNetV2作为主干网络提取特征,大幅降低了网络模型所占内存和训练时间,同时将注意力机制模块(convolutional block attention module,简称CBAM)与金字塔场景解析(pyramid scene parsing,简称PSP)模块的上采样特征层和PSPnet网络模型的浅层特征层进行融合,有效提升模型对特征的细化能力。试验结果表明:基于改进的PSPnet-MobileNetV2网络模型所占内存仅为9.12 MB,较原始PSPnet模型减少了94.88%;煤和岩的交并比为96.52%和96.87%,分别提升了8.29%和7.7%;像素准确度分别为97.25%和99.15%,较原始网络模型分别提升了7.32%和1.64%;测试时间降低了53.70%。该方法为煤岩界面的快速和预先精准识别提供了一种有效技术手段。

基于深度学习语义分割的导光板缺陷检测方法

当前导光板表面缺陷仍主要由人工肉眼观察进行检测,仅有少数生产厂家利用传统的图像处理方法进行检测.由于导光板缺陷在高分辨率工业相机拍摄的图像成像下仍极其微小,且不同缺陷的特征各异,以及整张导光板自身的导光点分布密集、不均匀等纹理特点,导致传统的图像处理检测方法需要经验丰富的视觉工程师进行大量的特征提取算法编程工作和昂贵的代码维护成本,准确率低且稳定性差,为此提出一种基于深度学习语义分割的缺陷检测方法.该方法通过训练神经网络的方式来自主学习提取导光板缺陷特征从而避免繁杂的特征提取算法编程工作.首先,对搜集的导光板缺陷进行缺陷标记,制作样本集;其次,利用迁移学习将预先训练好的金字塔场景解析网络(PSPNet)对标记样本进行再训练;进而,利用训练好的模型实现对导光板缺陷的检测;由于单独的深度学习语义分割缺陷检测方法通常无法满足工业实际应用需求,最后还需结合简单的机器视觉方法,对深度学习语义分割方法检出的所有疑似缺陷区域进行二次判断筛选.实验结果表明,该方法针对亮点、暗点和划痕3种缺陷的检出率高达96%,基本可以满足工业检测要求.

水下机器人实时智能裂缝检测算法

大坝水下部分的裂缝检测是大坝维护维修的主要技术难点,采用水下机器人检测维修是未来发展的趋势。为解决水下机器人实现裂缝检测过程中的水下图像增强、语义分割、裂纹识别以及裂纹面积计算等问题,本文基于该工程需求提出了改进金字塔场景解析网络算法,并对该算法神经网络结构的超参数进行了优化。针对水下作业需求提出了激光辅助测量的面积计算方法,并进行了真实环境实验验证。实验数据表明:与其他算法相比所提出的网络结构优化了损失值、平均交并比。研究表明:优化后的语义分割算法能满足水下机器人作业对不同形态裂缝检测的实时性、精准性要求。

利用PSP Net实现湖北省遥感影像土地覆盖分类

提出了一种基于金字塔场景解析网络(pyramid scene parsing net,PSP Net)的深度学习算法。以湖北省遥感影像为实验数据,借助PSP Net的上下文场景解析能力,研究湖北省30 m分辨率的土地覆盖。实验使用了湖北省Landsat卫星影像中507景900×600像素的标准分幅影像,通过预处理生成了适用于深度学习的样本集。选择其中300景为样本,包括训练集240个、预测集44个和验证集16个。使用快速特征嵌入卷积结构(convolutional architecture for fast feature embedding,CAFFE)下的PSP Net模型对样本数据进行训练,设置了10×10-10的学习率,选择了第100万次的训练模型,很好地防止了数据的过拟合。通过模型的泛化和样本的泛化与迭代,对湖北省2000年、2005年、2010年3期的Landsat卫星影像土地覆盖进行分类,分类精度分别达到82.2%、83.4%和83.7%。研究结果表明,基于PSP Net的深度学习算法可以快速、有效和精确地实现大范围的遥感影像土地覆盖分类。