基于视觉的输电线路金具锈蚀缺陷检测方法研究进展

输电线路金具的表面锈蚀作为常见的缺陷类型,是危害输电线路安全运行的重要隐患之一,如何快速、准确地发现锈蚀的金具设备并进行修复是线路巡检运维工作亟待解决的问题。本文综述了近十年来基于视觉的输电线路金具锈蚀缺陷检测方法的研究进展。首先简述了基于传统图像处理的金具锈蚀缺陷检测流程;然后按照基于传统图像处理、深度学习方法概述了金具设备锈蚀缺陷检测,重点阐述了基于深度卷积神经网络的目标检测和语义分割算法在输电线路金具锈蚀缺陷检测中的应用;随后介绍了基于深度学习的金具锈蚀缺陷检测自建数据集以及性能评价指标;最后指出了基于深度学习的输电线路金具锈蚀缺陷检测方法目前存在的问题,并对未来研究工作进行了展望。

基于机器视觉的太阳能电池片缺陷检测算法综述

太阳能电池片(Photovoltaic,PV)表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先,阐述了太阳能电池片表面成像方式,列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述;从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点。随后,介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后,系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法,对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。

基于机器视觉的芯片缺陷检测研究进展

半导体芯片作为集成电路的重要组成部分,对其质量要求越来越高,因芯片在小型化、高密度的制造过程中产生缺陷,进而影响了芯片的性能和寿命。因此,缺陷的检测与识别对芯片可靠性的提升十分重要。综述了近10年来国内外基于机器视觉的芯片缺陷检测方法的研究进展。首先介绍了芯片的制造流程以及当前主流的芯片封装技术。然后概述了用于芯片缺陷成像的主流无损检测技术,主要包括光学成像、声学成像、红外热成像、电磁成像与X射线成像等技术。接着分别重点阐述了基于传统技术和基于深度学习的芯片表面的缺陷检测方法。随后按照缺陷部位比较分析了芯片封装体的缺陷检测方法。最后总结芯片缺陷检测当前存在的问题,对未来的研究方向进行了展望。

基于深度学习的小目标检测基准研究进展

小目标检测是计算机视觉中极具挑战性的任务.它被广泛应用于遥感、交通、国防军事和日常生活等领域.相比其他视觉任务,小目标检测的研究进展相对缓慢.制约因素除了学习小目标特征的内在困难,还有小目标检测基准,即小目标检测数据集的稀缺以及建立小目标检测评估指标的挑战.为了更深入地理解小目标检测,本文首次对基于深度学习的小目标检测基准进行了全新彻底的调查.系统介绍了现存的35个小目标数据集,并从相对尺度和绝对尺度(目标边界框的宽度或高度、目标边界框宽高的乘积、目标边界框面积的平方根)对小目标的定义进行全面总结.重点从基于交并比及其变体、基于平均精度及其变体以及其他评估指标这3方面详细探讨了小目标检测评估指标.此外,从锚框机制、尺度感知与融合、上下文信息、超分辨率技术以及其他改进思路这5个角度对代表性小目标检测算法进行了全面阐述.与此同时,在6个数据集上对典型评估指标(评估指标+目标定义、评估指标+单目标类别)下的代表性小目标检测算法进行性能的深入分析与比较,并从小目标检测新基准、小目标定义的统一、小目标检测新框架、多模态小目标检测算法、旋转小目标检测以及高精度且实时的小目标检测这6个方面指出未来可能的发展趋势.希望该综述可以启发相关研究人员,进一步促进小目标检测的发展.

基于分段三次曲线和数据更新的色谱信号基线校正

在利用多项式曲线分段拟合实测信号基线过程中,常存在分段点影响拟合精度、运算速度的问题。为了解决这些问题提出了基于分段三次曲线和数据更新的色谱信号基线校正算法。构造了一种基于5点的分段三次曲线对实测信号进行拟合,这种曲线具有低阶光滑的优点,能够有效地克服分段点影响拟合精度的缺陷;为了减少基线校正算法的迭代次数,提高运算速度,提出了改进的数据更新方法,在每次迭代运算中,将基线以上原实测信号的波峰按比例反转的结果更新基线,改进前后的算法运算时间比约为7:1;将新算法的实验结果与现有的4种相关算法进行比较,结果表明:基于分段三次曲线和数据更新的基线校正算法对基线的近似度高,速度快。新基线校正算法已在液相色谱仪中得到实际应用,证明了该算法能有效地从原色谱信号中去除基线。

基于Transformer的无人机多目标跟踪算法研究

针对无人机多目标跟踪面临目标遮挡、尺度变化、快速运动、复杂环境等问题,提出了一种基于Transformer的无人机多目标跟踪算法,采用Focal Transformer来捕获高分辨率输入的Transformer层中的局部和全局交互。该算法能够生成目标的检测信息以及目标的外观特征,从而提高了跟踪性能。在轨迹预测方面,采用了卡尔曼滤波方法,以准确地预测目标的运动轨迹,有助于提高跟踪的准确性和鲁棒性。在数据关联过程中,同时考虑了检测置信度、外观嵌入距离和IOU距离3个因素,以更有效地处理数据关联过程,提高了多目标跟踪模型的鲁棒性,使其能够在复杂场景中更好地跟踪目标。此外,还使用了轨迹的二次匹配方法,进一步提高了算法的性能。在VisDrone和UAVDT数据集上进行了对比验证,证明了该算法在实际应用中的有效性和可行性。本研究为无人机多目标跟踪提供了一种新的解决方案,具有广泛的应用前景。

基于深度学习的输电线路视觉检测方法研究进展

输电线路巡检是电网持续稳定供电的保障,其目的是对电力线、绝缘子、电力杆塔、防振锤等线路设备进行状态检测和故障诊断,同时观测电力线周围潜在隐患。深度学习的发展为输电线路巡检提供了有效手段,与传统目标检测方法相比,深度学习方法能更有效地实现航拍图像中电力设备的识别及缺陷检测。该文综述近十年来基于深度学习的输电线路视觉检测方法的研究进展。首先,概述适用于输电线路巡检的深度卷积神经网络,包括分类网络、检测网络、语义分割网络,考虑到开发的深度学习网络模型便于在移动设备上应用,另外阐述轻量化网络;然后,重点阐述基于深度卷积神经网络的输电线路巡检图像数据目标检测;随后介绍7个电力设备数据集以及性能评价指标;最后,指出基于深度学习的输电线路巡检图像数据视觉检测方法目前存在的问题,并对进一步的工作进行展望。

基于深度学习的三维点云分析方法研究进展

点云是目前自动驾驶、机器人、遥感、增强现实(AR)、虚拟现实(VR)、电力、建筑等领域最常用的三维数据处理形式,深度学习方法能够处理大型数据,且可自主提取特征,因此点云深度学习方法已逐渐成为研究热点。本文综述了近十年来基于深度学习的三维点云分析方法的研究进展。首先给出了三维点云深度学习的相关概念;然后针对点云目标检测与跟踪、分类分割、配准和匹配以及拼接这4种任务,分别阐述了相应的深度学习方法的原理,分析并比较了各自的优缺点;随后整理了18种点云数据集和4种点云分析任务的性能评价指标,并给出了性能对比结果;最后总结了点云分析方法目前存在的问题,对进一步的研究工作进行了展望。

基于深度学习的视觉同时定位与建图研究进展

随着机器视觉的不断发展,视觉传感器其小巧轻便、价格低廉等优势,使得视觉同时定位与建图(VSLAM)越来越受人们关注,深度学习为处理VSLAM问题提供了新的方法与思路。本文综述了近年来基于深度学习的VSLAM方法。首先回顾了VSLAM的发展历程,系统阐释了VSLAM的基本原理与组成结构。然后从视觉里程计(VO)、回环检测与建图3个方面分析各类基于深度学习的方法,从特征提取与特征匹配、深度估计与位姿估计及关键帧选择等3个部分阐述了深度学习在VO中的应用;基于场景表达方式的不同,总结了几何建图、语义建图及广义建图中的深度学习方法。接着介绍了目前VSLAM常用的各种数据集以及性能评估指标。最后指出了目前VSLAM面临的难题与挑战,展望未来深度学习与VSLAM结合的研究趋势与发展方向。

基于视觉的汽车装配件缺陷检测研究进展

汽车装配件的缺陷检测是汽车制造流程中的重要环节,不仅可以提升产品质量,降低退货率,避免成本浪费,还可以为驾驶人员提供安全保障。最早的缺陷检测依靠专家经验,准确度低,人力成本大,而无损检测技术依靠介质,且效率不高。引入机器视觉不仅可以平衡检测精度和效率的问题,还能提高检测系统的鲁棒性,是最有发展潜力的缺陷检测技术之一。本文首先给出了视觉缺陷检测的定义和主要流程,简述了视觉缺陷检测系统中的图像采集硬件,然后从常用的缺陷分割方法、特征提取方法、卷积神经网络3个方面综述了近年来汽车装配件缺陷检测的研究进展,并对比分析了相关方法的优缺点。接着把汽车的装配件大致分为轮毂轮胎、车身漆面、零件、发动机等4类,总结了缺陷类型及其缺陷检测算法的研究现状。随后介绍了与汽车工业相关的10个数据集和缺陷检测性能评价指标。最后指出针对汽车装配件的缺陷检测目前面临着诸多方面的技术挑战,并对进一步的工作进行了展望。

图像阈值分割方法研究进展20年(1994—2014)

阈值分割是图像分割领域中使用最为普遍的一类简单而有效的方法,多年来受到许多学者的广泛关注,发表了大量的研究成果。作者曾于20年前对1962-1992年阈值分割的研究状况做了一个阶段性的回顾与总结。时至今日,阈值分割方法已经获得了巨大的发展,新思路、新方法层出不穷。本文旨在对近20年来阈值分割领域常用的一些方法再次进行概括和分类,其中包括近年来新提出的阈值分割方法,也包括对经典方法的改进。文中给出了这些方法的基本思想和公式,阐明了各种方法的特点及其适用范围,以期为今后阈值分割的相关研究提供一些思路和启迪。

基于二维对称Tsallis交叉熵的小目标图像阈值分割

现有的阈值分割方法应用于目标与背景面积相差悬殊的小目标图像时,几乎都失效。为此,提出了基于对称Tsallis交叉熵及背景与目标面积差的小目标图像阈值分割方法。对称Tsallis交叉熵准则能确保准确分割时目标和背景内部的灰度均匀,而背景与目标面积差可抑制均等分割的趋势,二者综合构成了更为合理的阈值选取准则函数。首先导出了一维阈值选取公式;然后经推广得到基于二维斜分对称Tsallis交叉熵及背景与目标面积差的阈值选取公式,给出了其快速递推算法及相应的简化方法。大量实验结果表明:与目前性能较优越的二维斜分Otsu、最大熵、非对称交叉熵阈值分割方法相比,所提出的方法在小目标图像分割效果上具有极为明显的优势。

基于KFCM和改进CV模型的海面溢油SAR图像分割

图像分割是合成孔径雷达(synthetic aperture radar,SAR)图像海面溢油检测的关键步骤之一,将核模糊C均值(kernel fuzzy C-means,KFCM)聚类方法及Chan-Vese(CV)模型应用于海面溢油SAR图像分割,为了解决单一KFCM方法分割精度不够高,及传统CV模型对初始条件敏感和收敛速度低的问题,提出了一种基于KFCM和改进CV模型的海面溢油SAR图像分割方法。首先利用KFCM算法将海面溢油SAR图像从原始样本空间映射到高维特征空间,得到聚类结果;然后将其作为CV模型的初始条件,以降低CV模型对初始条件的敏感性,并利用图像边缘强度取代传统CV模型中的Dirac函数,以提高模型的收敛速度和对不同SAR图像的适应性。大量实验结果表明,所提出的基于KFCM和改进CV模型的海面溢油SAR图像分割方法具有分割精度高、运算速度快的优点。

基于灰度熵多阈值分割和SVM的火焰图像状态识别

为了进一步提高锅炉燃烧火焰图像状态识别的性能,提出了一种基于灰度熵多阈值分割和支持向量机(supportvector machine,SVM)的火焰图像状态识别方法。对火焰图像进行基于灰度熵准则的多阈值分割,采用改进粒子群优化算法选取最优多阈值,由此快速准确地分割出火焰图像中的背景区域、有效燃烧区域及高温燃烧区域;然后,提取火焰图像的10个特征参数,以此作为训练样本训练支持向量机,最后采用支持向量机依据提取的特征对火焰图像进行分类,并通过上述改进粒子群优化算法优化支持向量机中的2个参数。实验结果表明,提出的方法分割结果正确,与采用将图像像素作为训练样本的方法相比,该方法的分类识别正确率更高,运行速度大大加快。

基于各向异性数学形态学的火焰图像边缘检测

为了更加有效地提取锅炉燃烧火焰图像的边缘,提出了一种基于各向异性数学形态学的火焰图像边缘检测方法。首先计算火焰图像的平均平方梯度向量并由其表示平均梯度向量,然后对平均梯度向量进行扩散得到图像的平均梯度向量场,并计算图像各像素点的平均梯度方向,最后根据各点的方向信息构造适合的形态结构元素,并计算其形态学梯度,据此检测出火焰图像的边缘。针对大量火焰图像进行的实验结果表明,与现有的边缘检测方法包括Roberts方法、Sobel方法、Prewitt方法、Canny方法、Log方法、各向同性数学形态学方法以及自适应邻域方法相比,该方法检测出的边缘,定位更加准确,边缘完整清晰,算法抗噪性更好,运算速度快。

二维直方图区域斜分阈值分割及快速递推算法

指出了二维直方图区域直分法中存在明显的错分,提出了一种新的二维直方图区域斜分方法,即通过4条平行斜线将直方图分成内点区、边界点区和噪声点区,并采用与主对角线垂直的斜线进行阈值分割;然后导出了基于二维直方图区域斜分阈值选取的公式及其快速递推算法;最后给出了分割结果和运行时间,并与Otsu快速算法进行比较。结果表明二维直方图区域斜分方法可以运用于几乎所有的基于二维直方图的阈值分割,使分割后的图像内部均匀,边界准确,抗噪更稳健,同时其运行时间大幅减少。

基于Krawtchouk矩和支持向量机的火焰状态识别

监测炉膛火焰燃烧状态对防止锅炉爆管起着重要作用。为了进一步提高火焰图像特征提取的准确度和燃烧状态的识别率,文中将Krawtchouk矩引入火焰特征提取,提出了一种将Krawtchouk矩不变量与小波支持向量机相结合的火焰燃烧状态识别方法。首先计算火焰图像的Krawtchouk矩及Krawtchouk矩不变量,以此构造火焰图像的特征向量;然后根据训练样本的特征向量构造支持向量机,对火焰图像进行状态识别,并采用混沌小生境粒子群算法优化支持向量机中的核函数参数与惩罚因子,使其识别性能最优。大量实验结果表明:与基于Hu矩和支持向量机的方法、基于Zernike矩和支持向量机的方法相比,采用Krawtchouk矩不变量作为火焰图像的特征能更好地对火焰图像燃烧状态进行识别,识别率大大提高,且结果与实际情况相符。

一种可有效分割小目标图像的阈值选取方法

目标检测与识别中常遇到目标与背景大小之比很小的小目标图像分割问题,此时现有的阈值分割方法几乎都失效。为此,提出了一种基于背景与目标的面积差和类内方差的小目标图像分割阈值选取方法。指出了目前图像阈值分割方法不能有效分割小目标图像这一缺陷,给出了基于背景与目标面积差和类内方差的一维直方图、二维直方图区域直分及更为有效的二维直方图区域斜分阈值选取公式,导出了相应二维斜分阈值选取的快速递推算法;最后在实验结果中给出了本文方法的图像阈值分割结果和运行时间,并与Otsu、最大熵及Fisher阈值选取快速方法进行了比较。结果表明:本文方法能准确地分割小目标图像,且运行时间短,抗噪性好。

基于二维直分与斜分灰度熵的图像阈值选取

二维最大Shannon熵阈值选取方法仅依赖于图像二维直方图的概率信息,而没有直接考虑类内灰度的均匀性,为此本文提出了二维灰度熵的阈值选取方法.首先给出了灰度熵的定义及其一维阈值选取方法,该灰度熵与现有的仅基于直方图分布的最大Shannon熵不同,直接反映了类内灰度的均匀性;然后提出基于混沌粒子群优化的二维直分灰度熵阈值选取方法及其快速递推算法;最后导出了二维斜分灰度熵的阈值选取公式及其快速递推算法.实验表明,与基于粒子群优化的二维直分最大Shannon熵阈值选取方法、二维斜分最大Shannon熵阈值选取方法及二维斜分Otsu阈值选取方法相比,所提出方法的分割图像更能反映原始图像的边缘、纹理及细节信息.

二维直方图θ-划分最小误差图像阈值分割

针对常用二维直方图区域直分法存在错分的问题,并为适应实际中不同图像及分割目的的需要,提出了更具普适性的二维直方图θ-划分最小误差阈值分割方法(θ为分割直线的法线与灰度级轴的夹角).导出了相应的阈值选取公式及其快速递推算法,根据实验结果分析了θ取值对分割结果和算法运行时间的影响.与二维直方图直分最小误差法相比,所提方法的分割结果更为准确,抵抗噪声更为稳健,且所需运行时间也大为减少;而直线形最小误差法只是文中方法中θ=45°的特例.