工业场景下基于秩信息对YOLOv4的剪枝

在工业场景无线射频识别(RFID)实时缺陷检测任务中,为了保证检测精度以及速度常采用YOLO这类深度学习目标检测算法,然而这些算法仍然难以满足工业检测中的速度要求,且无法将相应的网络模型部署到资源受限的设备上。针对以上问题,需要对YOLO模型进行剪枝压缩,提出了一种基于秩信息的特征信息丰富性和特征信息多样性加权融合的新型网络剪枝方法。首先,加载未剪枝模型进行推理,并在前向传播中获取滤波器对应特征图的秩信息来衡量特征信息丰富性;然后,根据不同大小的剪枝率对秩信息进行聚类或者相似度计算来衡量特征信息的多样性;最后,加权融合得到对应滤波器的重要性程度并对其进行排序后,剪除重要性排序靠后的滤波器。实验结果表明,对于YOLOv4,在剪枝率为28.87%且特征信息丰富性权重为0.75的情况下,所提方法相较于单一使用特征图秩信息的方法提高了2.6%~8.9%的平均精度均值(mAP),所提方法剪枝后的模型甚至相较于未剪枝模型提高了0.4%的mAP并减少了35.0%的模型参数,表明该方法有利于模型部署。

基于对照学习的图像缺陷检测算法

钞纸在实际生产过程中,由于纸类本身存在柔性变化,采用传统的模板匹配使得检测的结果不准确。同时现在使用的深度学习算法对水印进行检测会出现漏检、错检,以及对小缺陷检测不够准确的问题。针对这些问题,提出一种基于对照学习的图像缺陷分割检测算法。首先,网络输入中心位置相同但大小不等的缺陷图与模板图,其中模板图分辨率稍大于缺陷图。网络采用双分支的编解码器结构,使用ResNet50作为主干网络,分别提取模板图与缺陷图的特征。然后,设计对照注意力模块LACB(Local Attention Contrast Block),将两个分支各个阶段所提取的特征图作为对照注意力模块的输入。将输入进对照模块的特征图划分为数量相同、大小不同的Patch,用注意力机制的方式局部对照缺陷图与模板图之间的差异。由于纸张本身存在柔性变化,水印会在小范围内发生偏移,所以需要在模板图上相对于缺陷图像的位置的一个更大范围内进行对照。因此,输入的缺陷特征图要小于模板特征图,使网络允许特征在一定范围内偏移,模糊缺陷的局部位置信息。将前三层的对照结果输入解码器中,最后一层输入ASPP(Atrous Spatial Pyramid Pooling)中,在语义上综合全局的信息。最后通过解码器将多尺度的特征图跨层融合,减缓下采样带来的信息丢失,同时加强模板图与缺陷图之间不同特征的响应,使分割结果更加精准。实验结果表明,该算法在钞纸数据集上,相较于U-Net,MIoU(Mean Intersection over Union)提高了5.63个百分点,达到了92.36%,F1分数提升了6.23个百分点,达到了92.70%;而相较于DeepLabV3+,MIoU提高了4.06个百分点,F1提升了4.44个百分点。

基于投票筛选增强自编码器的纺织品缺陷分割算法

基于深度学习的生成式网络目前已被广泛运用于无监督缺陷检测任务中,它的训练过程仅需学习正常样本,就能将异常样本重建为正常样本,重建图像与异常样本之间的误差便可被用作识别异常的标准。但是在纺织品缺陷检测任务中,由于深度神经网络具有较强的泛化性,异常区域一般会被保留在重建图像中,导致异常的漏检。为此,提出了一种基于筛选增强自编码器的轻量化生成模型。首先,通过生成模型重建待测图像;其次,在确保重建图像不会保留缺陷区域的前提下,计算它与待测图像之间的残差图;最后,对残差图进行形态学处理后得到缺陷分割的结果。实验结果表明,所提算法能有效重建纺织品纹理,从而可准确分割出缺陷区域,分割准确率、召回率和F1分数分别可达到92.32%、89.11%和90.69%,并且所提算法还能在不同纹理的纺织品上快速迁移,提升了该类产品的检测效率。

半监督塑封烟盒退化图像修复算法

针对塑封烟盒底纹修复没有成对数据且无监督域转换算法无法处理退化图像的问题,为了去除薄膜并完成底纹信息的修复,提出一种半监督塑封烟盒退化图像修复算法。首先,由薄膜图像生成子网络提取真实塑封烟盒的薄膜信息;然后,利用生成的薄膜图片和真实的底纹图片以及随机掩码(mask)合成数据集;最后,使用合成数据集学习有薄膜到无薄膜两个域之间的转换。在烟盒数据集上的实验结果表明,视觉定性比较,所提算法更好地修复了受薄膜影响而退化的底纹信息;数据定量比较,所提算法的弗雷歇初始距离(FID)比CycleGAN、基于对比学习的非成对图像翻译网络(CUT)、基于双重对比学习的无监督图像翻译网络DCLGAN分别降低了14.42%、6.85%和3.00%,有利于提高图片质量和方便后续检测,且单张样本平均推理耗时为13.73 ms,能够满足工业生产的实时要求。

基于RandLA-Net的3D点云牙颌分割与身份识别

针对PointNet局部特征聚合不充分、保存模型较大、识别精度有待提升等问题,在三维(3D)点云牙颌身份的识别任务中,采用RandLA-Net的编码结构作为主干网络;在分割任务中采用原始RandLA-Net作为主干网络。针对RandLA-Net特征聚合模块聚合单一的问题,在识别任务中采用基于偏移注意力(OA)的特征聚合模块,在分割任务中增添了基于点云的Transformer block模块,相较于RandLA-Net的原始网络,新的网络模块能够更好地聚合局部特征。为了达到大规模开集数据集的身份再识别目的,将分类的交叉熵损失函数替换成了三元组损失函数。针对训练牙颌样本数据较少的问题,采用生成虚拟正样本的方式极大地拓展了数据集。实验结果表明:在识别任务中,相较于原始的RandLA-Net主干网络,识别任务的top-1平均精度提升了3.13个百分点;在分割任务中网络平均精度相较于原始RandLA-Net提升了3.06个百分点,平均交并比(MIoU)提升了6.05个百分点。

基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换(DHT)差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明:提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比(mIoU)提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。

基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法

针对硬币表面缺陷较小、形状多变且易与背景混淆而不易检出的问题,改进YOLOv3算法并提出基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法DCA-YOLO。首先,由于缺陷形状的多变设计了3种在主干网络中不同位置添加可变形卷积模块的网络结构,通过卷积学习偏移量和调节参数来提高缺陷的提取能力;然后,使用自适应空间特征融合网络学习权重参数来调整不同尺度特征图中各像素点的贡献度以更好地适应不同尺度的目标;最后,改进先验锚框比例,动态调节类别权重,优化并对比网络性能,从而提出在主干网络输出特征进行多尺度融合的上采样前增加可变形卷积的模型网络。实验结果表明,在硬币缺陷数据集上,DCA-YOLO算法检测平均精度均值(mAP)接近于Faster-RCNN,达到了92.8%;而相较于YOLOv3,所提算法的检测速度基本持平,在检测mAP上提高了3.3个百分点,F1分数提升了3.2个百分点。

多模态硬币图像单应性矩阵预测

对不同成像条件下拍摄的硬币图像进行配准是硬币表面缺陷算法的前置任务。然而,基于互信息的传统多模态配准方法速度慢、精度低,现有的通过基于深度学习的单应性矩阵预测方法实现的图像配准只适用于单模态的任务。为此,提出一种基于深度学习的适用于多模态硬币图像的单应性矩阵预测方法,进而使用预测的单应性矩阵完成图像配准。首先,使用单应性矩阵预测层预测输入图像对间的单应性矩阵,使用单应性矩阵对待配准图像进行透视变换;然后,使用图像转换层将透视变换后的待配准图像和目标图像映射到同一域,图像转换层可在推理时去除从而减少推理时间;最后,计算同一域下的图像间的损失,并进行训练。实验表明,该方法在测试集上的平均距离误差为3.417像素,相较于基于互信息的传统多模态配准方法5.575像素的平均距离误差降低38.71%。且配准单对图像耗时为17.74 ms,远低于基于互信息的传统多模态配准方法的6368.49 ms。