基于轻量化网络与增强多尺度特征融合的绝缘子缺陷检测

随着无人机搭载目标检测算法在输电杆塔绝缘子巡检领域的发展,针对绝缘子缺陷检测速度较低,网络复杂度高且缺陷小目标难以准确检测的问题,提出一种基于轻量化网络与增强多尺度特征融合的YOLOv5-3S-4PH模型进行绝缘子缺陷实时检测。首先将重构的ShuffleNetV2-Stem-SPP(3S)网络作为YOLOv5的主干网络,显著减小了网络的参数量和计算量;其次引入针对小目标的增强多尺度特征融合网络以及4个预测头,来增强网络对绝缘子缺陷的感知能力,并结合Mosaic-9数据增强、CIoU损失函数进一步补偿轻量化导致的检测精度损失;最后将其应用到自制绝缘子数据集进行验证。实验结果表明,该文所提出的模型相对于未改进的YOLOv5,全类平均精度提高了3%,检测速度提高了81.8%,参数量、计算量分别压缩了82.4%、67%。因此,所提出的模型更适合部署在无人机平台上进行绝缘子缺陷的实时监测。

改进YOLOv7算法的钢材表面缺陷检测研究

当前,基于深度学习的智能检测技术逐步应用于钢材表面缺陷检测领域,针对钢材表面缺陷检测精度低的问题,提出一种高精度实时的缺陷检测算法CDN-YOLOv7。加入CARAFE轻量化上采样算子来改善网络特征融合能力,融合级联注意力机制和解耦头重新设计YOLOv7检测头网络,旨在解决原始头网络特征利用效率不高的问题,使其充分利用各尺度、通道、空间的多维度信息,提升复杂场景下模型表征能力。引入归一化Wasserstein距离重新设计Focal-EIoU损失函数,提出NF-EIoU替换CIoU损失,平衡各尺度缺陷样本对Loss的贡献,降低各尺度缺陷的漏检率。实验结果表明,CDN-YOLOv7的检测精度可达80.3%,较于原YOLOv7精度提升了6.0个百分点,模型推理速度可达60.8帧/s,满足实时性需求,CDN-YOLOv7在提升各尺度缺陷检测精度的同时显著降低了缺陷的漏检率。

基于改进SSD的工件表面缺陷检测

工件的表面缺陷不仅影响外观而且直接影响产品的质量、寿命和性能,因此对工件进行实时表面缺陷检测很有必要。针对当前SSD算法不利于小目标检测易导致误检的情况,提出了一种基于单阶段多层检测器的改进SSD自动检测方法。采用了以ResNet替换SSD中原始的VGGNet的方法,研究了小目标检测的问题;采用了对深层特征进行反卷积且将深层特征与浅层特征融合的方法,研究了语义信息不足易误检的问题。结果表明,该方法较原SSD模型在工件的表面缺陷检测上m AP值提高了约4.6%,从而认为本方法可用于工件表面缺陷的实时自动检测。

基于改进YOLOX-S的太阳能电池片表面缺陷检测

针对太阳能电池片表面缺陷检测存在模型体积大和检测性能不达标的问题,提出了一种轻量化YOLOX-S检测模型用于工业生产。首先以YOLOX-S模型为基础,采用轻量级网络MobileNetV3优化主干网络,减少模型参数,降低模型运算量,提高检测速度。其次采用FReLU激活函数改进MobileNetV3,使模型具有空间像素级建模能力,提高模型空间特征信息灵敏度,增强模型对小目标缺陷的特征提取能力。最后,在颈部网络引入注意力特征融合模块,聚合多尺度信息,加强模型的多尺度特征融合能力。实验结果表明,改进的YOLOX-S检测模型平均精度均值可达97.6%,参数量减少43.2%,检测速度达到51帧/s,置信度均在90%以上,检测结果可靠。

基于改进DETR的机器人铆接缺陷检测方法研究

铆接作为铁道车辆结构件的主要连接方式,合格的铆接质量是车辆安全稳定运行的重要保证。针对现有铆接缺陷检测方法存在检测精度低、检测点位少、检测智能化水平不高等问题,提出一种基于改进DETR的机器人铆接缺陷检测方法。首先,搭建铆接缺陷检测系统,依次采集工件尺寸大、铆钉尺寸小工况下的铆接缺陷图像。其次,为了增强DETR模型在小目标中的图像特征提取能力和检测性能,以EfficientNet作为DETR中的主干特征提取网络,并将3-D权重注意力机制SimAM引入EfficientNet网络,从而有效保留图像特征层的镦头形态信息和铆点区域的空间信息。然后,在颈部网络中引入加权双向特征金字塔模块,以EfficientNet网络的输出作为特征融合模块的输入对各尺度特征信息进行聚合,增大不同铆接缺陷的类间差异。最后,利用Smooth L1和DIoU的线性组合改进原模型预测网络的回归损失函数,提高模型的检测精度和收敛速度。结果表明,改进模型表现出较高的检测性能,对于铆接缺陷的平均检测精度mAP为97.12%,检测速度FPS为25.4帧/s,与Faster RCNN、YOLOX等其他主流检测模型相比,在检测精度和检测速度方面均具有较大优势。研究结果能够满足实际工况中大型铆接件的小尺寸铆钉铆接缺陷实时在线检测的需求,为视觉检测技术在铆接工艺中的应用提供一定的参考价值。

基于改进Deeplabv3+算法的滚珠丝杠驱动表面点蚀缺陷检测

针对滚珠丝杠驱动表面背景环境复杂、点蚀缺陷目标小因而难以检测的问题,提出改进的Deeplabv3+滚珠丝杠驱动表面缺陷分割算法。本算法采用Re2Net-50替换Deeplabv3+的主干网络,显著提升了对小尺寸缺陷目标的识别能力。此外,通过在主干网络中融合特征金字塔网络FPN,能够加强多尺度信息的提取,从而增强了对缺陷目标的精确定位。最后,本研究在Deeplabv3+网络的ASPP模块之后引入了Coordinate Attention机制,能够增强模型对图像中空间和维度的关注,有效地捕获了图像中的长距离空间依赖关系。实验结果表明,与原始的Deeplabv3+相比,所提算法在平均交并比MIoU指标上提高了4.38%,准确率Accuracy提高了5.52%,F1-score提高了2.74%。同时,与其他经典的语义分割算法相比,所提算法也展现出了一定的优越性。

基于YOLOv3的金属表面缺陷检测研究

为了解决金属表面缺陷检测的漏检、误检等问题,提出了一种改进YOLOv3算法。首先,使用动态激活函数替换主干特征提取网络中所有残差块的激活函数,并加入了混合注意力机制,强化其对复杂缺陷目标的特征提取能力。然后,在特征金字塔网络部分新增一个104×104的特征层,并将浅层网络与深层网络进行逐层特征融合,增强算法对小缺陷目标检测的敏感性。最后,利用K-Means++聚类算法替换K-Means聚类算法,筛选出适用于金属表面缺陷检测的最优先验框尺寸,使目标定位更加准确。实验结果表明,改进YOLOv3算法的每秒检测帧数(frames per second,FPS)可达到32.3,平均精度均值(mean average precision,mAP)可达到78.69%,检测性能得到了明显提升。

ECC-YOLO:一种改进的钢材表面缺陷检测方法

针对当前钢材表面缺陷检测效率低、检测精度差的问题,提出了一个模型,命名为ECC-YOLO,基于YOLOv7的钢材表面缺陷检测。首先,为了提高主干网络特征图信息表征能力,引入了特征增强模块ConvNeXt,通过融合深度可分离卷积、大核卷积,增强模型对细小裂缝的特征提取能力,其次设计了C2fFB模块,在增强目标特征信息的提取能力同时,显著降低了模型的计算量和参数复杂性。最后借助ECA注意力机制设计出MPCE模块,削弱复杂背景信息对钢表面缺陷检测的干扰,提升检测效率。最后,广泛的实验结果表明,ECC-YOLO在NEU-DET数据集上,该模型的mAP达到77.2%,相较于YOLOv7,ECC-YOLO的检测精度提高了10.1%,模型参数量减9.3%,该模型在钢表面缺陷检测中具有较好的综合性能。

直角三棱镜补充视角的密封圈缺陷检测研究

为解决三维激光检测中被测物体底面点云无法被高效获取的问题,本文提出了基于直角三棱镜折射原理的补充视角三维点云扫描获取方法。该方法使用直角三棱镜将底面图像折射到侧面,弥补了三维检测的底面检测视角缺失的问题,补充了底面检测视角。本文以密封圈作为缺陷检测对象,采用结构光三维相机采集三维点云。与直接扫描法相比,本方法可以一次性实时、快速地寻找出密封圈完整的表面缺陷,尤其使底面缺陷检测变得更容易,且无需设置特殊的夹取装置或复杂的机械臂等机械结构,仅需增加一块直角三棱镜。实验证实,直角三棱镜补充视角的点云扫描方法能够达到成像要求,对常见的密封圈断裂缺陷与塌陷缺陷均可很好的检出,检测准确率可达到100,满足密封密封圈缺陷检测的需求。

基于多尺度卷积注意力机制的输电线路防振锤缺陷检测

作为输电线路中的重要金具部件,防振锤的缺陷将对输电线路构成严重威胁。针对由于防振锤缺陷样本数量稀少、背景复杂、区域形状尺寸不一造成的防振锤缺陷识别能力不足的问题,提出一种基于多尺度卷积注意力机制的防振锤缺陷检测方法。首先,通过统计不同缺陷的防振锤尺寸,设计适应不同类别的多尺度卷积注意力机制,使网络重点关注图像中的防振锤区域;其次,引入结构重参数化方法,以将网络中的多分支结构无损失地转换为单分支结构,在提高网络检测性能的同时维持检测速度在较高水平;最后,以渐进式特征金字塔网络结构(AFPN)为基础,融合更多的浅层网络,提高了网络检测防振锤小目标的能力。实际收集的防振锤缺陷数据集实验结果表明,设计的检测方法可显著提升防振锤缺陷检测的性能,检测精度mAP0.5达到了91.9%,在TITAN XP平台下检测速度达60.88帧/s,可为输电线路防振锤智能化巡检提供参考。

修复缺陷嫌疑区域的无监督磁瓦表面缺陷检测

磁瓦表面缺陷样本数量少,异常视觉特征分布发散,现有依赖目标特征的有监督检测方法不能有效检测未定义缺陷;磁瓦表面正常纹理呈非均匀且非周期性分布,使得经典重构网络难以准确地重构磁瓦表面正常特征,导致相关无监督检测方法性能低下.为此,采用多头注意力增强的掩码图像修复网络(MIINet),长距离提取图像特征,捕捉全局信息,增强图像修复的能力;引入视觉显著性算法抑制磁瓦表面纹理信息和突显缺陷区域,以便二值化算法精准分割缺陷嫌疑区域;利用MIINet修复待检测图像缺陷嫌疑区域,选用修复前后图像的残差图像和结构相似性实现缺陷检测与缺陷判定.与经典无监督方法相比,修复缺陷嫌疑区域的表面缺陷检测方法的准确率提升了2.36%,F1值提升了1.62%.

基于轻量化特征选择的镜片多尺度缺陷检测系统研究

为解决对镜片缺陷识别和定位困难的问题,设计了一种基于轻量化特征选择(LFSN)的镜片多尺度缺陷检测系统。首先通过四步相移栅格光成像系统采集缺陷图像,基于傅里叶变换对图像进行融合以提高图像质量;然后,LFSN使用自动特征层选择结构,在训练过程中计算无锚框分支损失,获得最优特征层信息,更新参数,从而优化模型对不同缺陷大小信息的学习能力;还使用了深度分离可变卷积,通过双线性插值增加像素点在平面的偏移量,从而提升模型对缺陷形貌的主动学习能力,并一定程度减少模型训练参数量,降低检测时间,同时优化回归定位损失明确各阶段训练任务,利用一次惩罚项指导前期预测框中心距离回归;利用归一化二次项,指导后期预测框大小比例回归,使预测框更接近真实值;最后,通过实验采集镜片缺陷图像,并构建数据集进行对比实验。实验结果表明:识别和定位镜片的缺陷的准确率为96.3%,单幅检测时间为24.9 ms。

面向工业表面缺陷检测的改进YOLOv8算法

针对工业缺陷对比度低、周围干扰信息多导致的误检率和漏检率高的问题,提出一种基于改进YOLOv8的工业表面缺陷检测算法EML-YOLO。通过设计一种高效大卷积模块(efficient large kernel,ELK),在保留空间信息的同时提供多尺度的特征表示,从而提高模型的特征提取能力;提出多支路并行的特征融合模块(multi-scale context module,MCM),使得模型能够获取丰富的特征信息和全局上下文信息;在Neck模块中通过特征压缩和精简来减少模型的参数量和计算量,让模型更适用于资源有限的工业场景。采用GC10-DET和DeepPCB两个工业表面缺陷数据集来验证改进的EML-YOLO算法的有效性。实验结果表明,在GC10-DET数据集和DeepPCB数据集上,检测准确率上分别提高了4.3个百分点和2.9个百分点,参数量仅2.7×10^(6)。所提算法可以较好地应用于工业缺陷检测场景。

汽车轮毂表面缺陷检测技术分析与装置设计

机器视觉作为代替人工检测轮毂表面缺陷的重要手段,是目前该领域的主要研究方向,因此针对汽车轮毂表面缺陷检测技术的研究现状进行了综述与分析。首先,从轮毂表面缺陷的类别和人工检测流程入手,阐述了基于机器视觉的轮毂表面缺陷检测技术的要求和难点。其次,分析了基于机器视觉的智能检测算法的发展历程,包括传统的机器视觉方法在缺陷图像预处理、缺陷定位和特征提取、缺陷分类识别中的应用;卷积神经网络(CNN)等深度学习方法在缺陷检测、分割以及其他方面的应用。最后,介绍了现有轮毂型号识别装置、轮毂缺陷X射线图像采集装置、轮毂表面缺陷图像采集装置,并在分析当前基于机器视觉的智能检测装置在实际应用中的局限性及需要解决的若干关键技术问题的基础上,提出了3种智能检测实验装置设计方案,为全自动快速检测装置的研制与性能提升提供理论与技术支撑。

软包装锂离子电池表面凹坑缺陷检测方法

软包装锂离子电池表面凹坑缺陷对比度低、缺陷区域过小且存在反光,传统方法很难进行准确检测。提出一种基于图像增强和改进DeepLabV3网络的软包装锂离子电池表面凹坑缺陷检测方法。通过分析表面凹坑缺陷图像特征,采用图像增强算法对图像进行预处理,以增强凹坑缺陷对比度。对DeepLabV3网络进行改进,使用ResNet101作为特征提取网络,同时引入位置注意力模块,使得模型更加关注于凹坑缺陷相关特征,提升网络的检测精度。改进后的网络在自制数据集上的平均交并比达到85.98%,缺陷检测准确率达到98.33%。

基于RT-YOLO-V5的芯片外观缺陷检测

针对传统的人工芯片检测方法效率低、过分依赖人为操作且误检率高等产生的问题,提出了一种基于ResCBS模块与增加微检测层(Tiny-scale detection layer)的RT-YOLO-V5检测方法用于检测芯片外观缺陷。首先搭建了图像采集系统,并制作了芯片外观缺陷检测数据集。为解决芯片外观缺陷形状不规则、大小不统一、位置不确定带来的检测精度低等问题,在CBS模块中增加短连接,融合输入输出的特征信息,减少信息损失,优化推理速度;其次,增加一个微小尺度的检测层,提高模型对微小目标的特征提取能力。实验结果表明:使用改进后的网络对芯片外观缺陷进行检测,平均精度(mAP)达到95.5%,相对于原始网络提升了5.7%;除此之外,改进后的RT-YOLO-V5在先验框损失(Box_loss)与小目标缺陷的检测精度上都得到了一定的提升。

基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod,TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling,FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电饭煲内胆缺陷数据集Enaiter的测试集上对所提算法进行了测试,测得的map@50结果分别为0.80,0.66和0.57,相比大部分主流的用于缺陷检测的目标检测算法均有提升,且模型参数量仅为原YOLOv4的一半,速度与YOLOv4接近,可满足实际使用需求。

基于PA-YOLO v5的印制电路板缺陷检测

针对印制电路板裸板布局复杂,在对其表面进行缺陷检测时存在被检测图像对比度不高、亮度不均匀、缺陷位置小、形状不规则等特点,在增加网络深度时会造成参数量大、出现过拟合现象、丢失部分特征信息等问题,提出了基于YOLO v5与混合注意力机制融合,精度更高的印制电路板检测模型PA-YOLO v5(precision and attention-YOLO v5),抑制一般特征的干扰,保证网络提取特征时更加关注缺陷目标细节特征。并引用自适应双向特征融合模块(Bi FPN)网络,对每个特征图的尺度不同进行充分利用,对不同的检测目标赋予不同权重,提高网络的各个特征表达能力,最后利用FRe LU激活函数,通过将ReLU增加空间拓展成为一个2D激活函数,增强感受野对细节捕捉的能力,提高模型的鲁棒性和泛化性。在DeepPCB数据集中对6种缺陷分别进行测试,实验结果表明,文中提出的PA-YOLO v5的检测模型在该数据集上的准确率可达99.4%,并同时设置消融实验和对比实验验证了该模型的有效性。

基于双向加权特征融合网络的铸件内部缺陷检测方法

针对X射线无损探伤过程中铸件内部缺陷小、对比度弱、人工识别效率低等问题,提出了一种基于双向加权特征融合网络的铸件内部缺陷检测方法。在YOLOv5网络模型基础上引入改进的坐标注意力模块(NCA),以提高网络对不规则缺陷和小缺陷的学习能力;引入双向特征金字塔网络(BiFPN)代替原有路径聚合网络(PANet),以实现缺陷特征多尺度高效融合,并使用EIoU Loss回归损失函数提高缺陷边界框定位的精度。试验结果表明,本文所提方法对铸件内部小目标、弱对比度缺陷具有良好的检测性能。

改进YOLOv7-tiny的轻量化大型铸件焊缝缺陷检测

针对目前焊缝缺陷数据集少,检测环境恶劣,人为识别困难等问题,提出了一种改进的YOLOv7-tiny算法。由于检测物体缺陷形状不规则,采用可变形卷积能够学习到更加丰富的特征信息和感知到物体的细节信息,增强了模型的表达能力和泛化能力;为了在提高焊缝缺陷检测速度的同时,不降低准确率,满足工厂实时性的要求,提出了一种融合轻量化卷积和注意力机制的ELAN-PCS网络结构;为了解决中小目标检测困难,很容易出现漏检的情况,引入了通道注意力机制。实验结果表明,与原YOLOv7-tiny相比,改进模型在大型铸件焊缝缺陷数据集上mAP(0.5)提升1.8%、mAP(0.5~0.95)提升6.8%,模型参数量下降1.9 M。