基于机器视觉的异物识别系统在输送机保护中的应用

设计了一种基于机器视觉的异物识别系统,并应用于主运输带式输送机的保护中。使用YOLOv5s作为深度学习模型,将训练完成的模型部署至边缘计算模块中;由工业级本安相机获取实时视频,并传入边缘计算模块中对煤流中的异物进行识别,最终只对外传输识别结果;当检测到的异物危险等级较高时会向协同控制器发送报警信号,由协同控制器对具体的单机控制器下发停机指令;同时将处理后的实时视频和报警信息上传至管控平台显示。基于机器视觉的异物识别提高了当前主运输带式输送机保护的智能性,稳定性和可靠性。

基于RT-DETR改进的皮带运输机异物识别方法

凭借兼顾检测精度与速度的特点,YOLO近年来已成为煤炭等工业领域目标检测模型的佼佼者。然而,YOLO的检测性能受到置信度阈值和非极大值抑制阈值等超参数设定的影响。因此,本研究提出了一种基于改进的RT-D ETR带式输送机非煤异物检测模型。该模型无需置信度过滤和非极大值抑制,从而提升了检测精度。此外,针对RT-DETR参数量较大、难以在计算资源有限的边缘设备上部署的问题,我们设计了一种EMA-Faster Net骨干网络,并将颈部网络的AIFI模块替换为LPE-AIFI模块。最后,我们采用TensorRT进行加速,并将模型部署到Jetson Orin Nano边缘计算设备上。实验结果表明,改进后的RT-DETR模型与具有相似参数量的YOLOv8s相比,其召回率高出5.6%,平均类别精度高出4.3%;经TensorRT加速后,模型帧率可达26.4 FPS,满足了实时监测的要求。

基于GhostNeXt-SlimNet的煤矿井下皮带运输机异物识别模型

随着“智慧矿山”高清监控摄像机部署规模变大,将井下皮带运输机监控视频统一上传至地面服务器进行集中处理的方式会导致系统的延时较高,难以对发生在现场的紧急事件做出实时响应。针对上述问题,该文提出将目标检测程序部署在边缘设备,又针对边缘设备计算资源有限等问题设计了一种基于YOLOv5改进的轻量化目标检测模型——GhostNeXt-Slim Net。该模型的骨干网络以ConvNeXt为基础框架,同时还结合Ghost模块。颈部网络使用Slim Neck。试验结果表明,与GhostNet原网络相比,改进后的模型不仅减少了运算量,而且还提高了精确率、召回率。

基于机器视觉的煤矿AI胶带异物识别控制系统

胶带输送机是煤矿生产中非常重要的运输设备,它能否安全高效地运行,直接决定着矿井机电设备开机率的高低和煤矿出煤量的多少。而产量又与煤矿的经济效益直接挂钩,所以煤矿井上下胶带输送机运输系统在煤矿日常生产过程中占据运输的主导部分。随着计算机控制技术、网络技术、光纤通信技术、视频监控技术、传感器技术的飞速发展,各种胶带输送机保护传感器功能的不断完善,胶带输送机“六大保护”基本能保证胶带输送机的安全,胶带输送机运输物料中掺杂的一些杂物对胶带损伤较大,大块矸石、锚杆、异物、水煤等会造成胶带表面破损、撕裂等。通过图像识别的方式能有效识别物料表面损伤胶带的杂物,识别率高达98%,并可与第三方控制程序联动使胶带输送机停车,有效防止胶带损伤,提升胶带输送机运输安全性,为煤矿煤流运输保驾护航。

基于深度学习的轨道表面异物识别方法

针对现有异物识别方法存在识别精度低、成本高的问题,提出一种基于深度学习的视觉感知方法,对车辆在轨道表面上垂直投影区域的异物进行识别。首先,采用编码与解码框架构建车辆在轨道表面上垂直投影区域的语义分割模型,利用轻量级主干网络MobileNet v3作为特征编码器,并基于LR-ASPP解码器实现特征融合以提升分割精度;其次,从2个方面对YOLOX-s检测模型进行优化,利用深度可分离卷积作为残差单元的特征提取算子,并充分利用算子的高效性降低模型的复杂度,同时在尽可能不影响模型推理耗时的情况下,嵌入通道注意力机制以对特征进行加权处理;最后,基于自建图像数据集对识别方法进行精度验证。结果表明:所提语义分割模型平均交并比(Mean Intersection over Union,MIoU)达到了91.4%,单次推理耗时约为8.7 ms,能够有效地分割检测区域;所提检测模型平均精度(mean Average Precision,mAP)达到了81.07%,单次推理耗时约为10.8 ms。所提方法是深度学习技术在异物侵限方面的有效探索,可应用于多种实际场景,如检测入侵异物和划定危险区域等,对于提高铁路安全和效率具有现实意义。

基于双目视觉的煤矿带式输送机胶带异物识别方法研究

常规的煤矿带式输送机胶带异物识别方法主要使用限制对比度自适应直方图均衡化法处理识别图像,易受复杂轮廓清晰度动态变化的影响进而导致识别出现错漏。本文研究了一种基于双目视觉设计的煤矿带式输送机胶带异物识别方法。该方法利用双目视觉技术采集带式输送机胶带异物识别图像,采用SGBM算法、分水岭算法以及形态学处理方法对采集的图像进行预处理,研究了异物识别检测区域预测,设置了锚框机制且优化了识别宽度,实现了带式输送机胶带异物识别。实验结果表明,本文研究的方法取得了较好的识别效果,具有良好的应用价值,可进一步降低煤矿输送安全风险,提高煤矿安全输送效率。

基于航拍图像的输电线路异物识别

为提高无人机电网巡线故障点排查的效率,针对输电线路走廊悬挂异物的潜在故障,提出一种可从大量航拍输电线路图像中筛选出挂有异物的图像的方法.基于形态学算法改进Otsu(最大类间方差)自适应阈值分割算法分割图像背景,提出一种新的基于输电线路特征的滤波方法进一步滤除背景;通过梯度法获取电力线的边缘,选取Hough变换累加器中局部极大值个数与最终检测到的线路数量作为异物特征向量来识别异物.最后,开发出批处理系统识别验证.结果表明,该算法能将挂有异物的电力线图像准确识别,为输电线路可靠性提供保障.

煤矿带式输送机分拣机器人异物识别与定位系统设计

机器视觉已在煤矿带式输送机分拣机器人目标检测与识别方面具有一定的理论基础,但目前煤矿带式输送机分拣机器人目标识别主要针对煤矸石识别,对造成输送带穿透、撕裂等的异物目标识别的研究较少,且在目标异物精确定位方面的研究也较少。针对上述问题,设计了一种基于机器视觉的煤矿带式输送机分拣机器人异物识别与定位系统,可对输送带上存在的不同类型和不同形状的异物进行识别与定位。采用双目视觉实时获取输送带上异物图像信息,并对图像进行预处理,基于Canny算子进行图像信息增强,通过灰度拉伸方法改进图像边缘信息,突出煤矿带式输送机上异物的边缘特征;利用形态学方法提取异物形状特征,建立异物图像特征样本库,通过图像特征匹配的方式解算出异物存在区域,实现异物类型的检测、分类与识别;在异物类型成功识别的基础上,以目标异物边缘特征值为基础,建立目标异物的感兴趣区域(ROI),构建相机、输送带与目标异物坐标转换关系,利用多目标质心快速计算方法求取目标异物质心坐标,实现对目标异物的定位。系统样机实验结果表明:煤矿带式输送机分拣机器人异物识别与定位系统异物识别率不受尺寸、材质和颜色等因素影响,能够实现输送带目标异物图像的采集、处理、特征提取、识别和位置定位,识别率为92.5%以上,目标异物位置定位平均误差为3%左右。

肉异物识别中肉厚度激光补偿试验系统的研制

农产品形状的不规则性严重影响用X射线成像方法检测农产品的内部品质的检测质量。针对这个问题,该文以肉为研究对象,建立了基于激光的肉厚度补偿试验系统,补偿X射线图像因厚度不同对肉产生的影响。该系统包括X射线图像采集系统、激光图像采集系统,机械传输部分、控制系统及图像处理系统等。用最小二乘法求取肉厚度补偿模型,建立激光图像与厚度补偿图像映射关系,用激光厚度补偿图像与X射线肉图像融合,基于OTSU算法(最大类间方差,automatically perform histogram shape-based image thresholding)提取出融合后的肉X射线图像中的异物。试验结果表明,这种方法能够消除厚度的变化对图像的影响,该研究为支撑为肉异物提取提供了一种准确高效的方法。

基于改进 YOLOv7 的煤矿带式输送机异物识别

带式输送机煤流中会掺杂锚杆、角铁、木条、矸石、大块煤等异物,易导致输送带撕裂、转接处堵塞甚至断带。针对带式输送机巡检机器人难以在井下光照不均及带式输送机高速运行环境中高效、准确识别异物及模型部署不便等问题,以及YOLOv7模型对目标特征提取能力高,但识别速度较慢的特点,提出了一种基于改进YOLOv7的煤矿带式输送机异物识别方法。运用限制对比度自适应直方图均衡化方法对采集的带式输送机监控图像进行增强,提高图像中物体轮廓的清晰度;对YOLOv7模型进行改进,通过在主干提取网络引入轻量化无参注意力机制,提高模型对图像复杂背景的抗干扰能力和对异物特征的提取能力,同时引入深度可分离卷积代替主干特征提取网络中的普通卷积,提高异物识别速度;使用TensorRT引擎将训练后的改进YOLOv7模型进行转换并部署在NVIDIA Jetson Xavier NX上,实现了模型的加速。对煤矿井下分辨率为1920×1080的带式输送机监控视频进行识别,实验结果表明:改进YOLOv7模型的识别效果优于YOLOv5L和YOLOv7模型,识别精确率达92.8%,识别速度为25.64帧/s,满足精确、高效识别带式输送机异物的要求。

基于双背景建模与差分图像的轨道异物识别

针对铁路轨道异物入侵的识别精度,提出了一种基于双背景建模和差分图像的识别方法.基于多帧平均背景和当前帧的前一帧背景建立模型,采用背景逐帧更新,使用平均背景差分和帧间差分的异物检测方法,界定基于边缘提取的铁轨危险区域,再通过黑白像素方法对轨道异物进行识别.实验表明,该方法具有较好的抑噪性和环境适应性,可有效提高异物识别精度.

基于紫外光/可见光的GIS内部机器人异物识别技术

由于GIS设备绝缘故障中内部异物引发的占比最大,且当检测发现长筒体结构GIS设备内部异物时,传统的吸尘器清理及人工擦拭的方式难以有效发挥作用。为了更加有效的清理GIS管道内的异物,文中在研发的GIS设备内部智能检查清理机器人平台基础上,设计了基于紫外光源/可见光源结合的机器人双光源补光技术,研究了基于双光源补光的机器人图像处理的异物识别算法,为GIS设备异物缺陷检查分析验证及异物清理提供了全新的方案。在两种光源下分别对管道内部拍摄图像,进而对图像进行处理,做异物识别判断,为机器人清理异物提供指导。文中在实现GIS腔体内部异物情况可视化的同时,解决了GIS设备内部智能检查清理机器人单一光源不易发现部分异物颗粒的问题,避免了机器人需要人工经验干预判别异物的难题,提高了GIS设备内部异物检查的效率。

基于深度学习的带式输送机非煤异物识别方法

针对现有非煤异物图像识别法识别目标单一、模型缺乏定位能力等问题,提出一种基于深度学习的带式输送机非煤异物识别方法。该方法以目标检测算法YOLOv3为基础框架,采用Focal Loss函数替换YOLOv3模型中的交叉熵损失函数,对YOLOv3模型进行改进;通过调节最佳超参数(权重参数α和焦点参数γ)来平衡样本之间的比例,解决非煤异物样本不平衡问题,使模型在训练时更专注学习复杂目标样本特征,提高模型预测性能;搭建了异物数据集,并通过异物数据集对分类性能和速度进行实验。结果表明:Focal Loss函数在异物数据集中表现优于交叉熵损失函数,在γ=2,α=0.75时准确率提升5%,故最佳超参数为γ=2,α=0.75;改进后的YOLOv3模型对锚杆、角铁、螺母3种非煤异物的识别精确率分别提升了约4.7%,3.5%和6.8%,召回率分别提升了约6.6%,3.5%和6.0%;模型在2080Ti平台下每张图像预测类别与实际类别一致,且置信度在94%以上。

基于TensorFlow的高压输电线路异物识别

针对传统异物识别准确率较低的问题,提出一种基于TensorFlow的深度卷积神经网络的异物识别模型。将巡检图像进行图像灰度化和尺寸压缩等预处理,并采用三维块匹配滤波(BM3D)算法进行图像去噪得到实验所需的训练数据。提出基于TensorFlow的深度卷积神经网络框架,通过使用框架中的TensorBoard模块设计深度卷积神经网络模型结构与优选模型参数,并针对ReLU激活函数与特征权重进行理论分析。实验结果表明,经过15次迭代训练后,深度卷积神经网络比传统的支持向量机(SVM)、极限学习机(ELM)和BP神经网络算法具有更强的巡检图像识别能力;与经典的LeNet-5和VGGNet模型以及相关文献中的模型相比,所提模型更具有优越性。

水电站GIS设备内部异物识别技术研究

GIS设备作为水电站内电力送出的关键设备,其内部异物引起绝缘击穿是GIS设备占比最大的故障,直接影响着水电站的效益。由于GIS设备筒体较长,在设备安装及开展检修工作时,其内部毫米级异物难以通过经验判断。为了更加有效地检查识别GIS管道内的异物,对比分析了超声波、电磁波、光学不同类型的识别方法对GIS内部异物的有效性。研究了将光学敏感法和光影法相结合的异物识别方法,并设计了基于双光源补光的异物识别算法,将其搭载在GIS设备内部异物检查机器人上实现了应用。应用结果表明:采用双光源补光的异物识别方法,可有效准确地识别出GIS腔体场景中的毫米级异物,准确率可达95%以上。

机器视觉灰度化金字塔卷积模型的煤流异物识别

煤流的带式输送是煤炭能源生产过程中的一个重要环节,煤流中异物识别是智慧矿山智能矿井建设中不可或缺的重要任务。针对煤流的带式输送监测系统中异物识别问题,构造一种基于机器视觉灰度化的双路金字塔卷积识别模型。首先,提出一种基于权值训练的机器视觉图像灰度化方法,并根据输送带运输异物与煤的颜色差异和运动性差异,采用Lucas-Kanade光流算法,实现对异常颜色和异常运动像素点的识别。同时结合光照补偿处理,实现对煤流实时图像进行亮度校正和无关像素剔除的预处理。接着,构造了金字塔网络,提取煤流中移动异物的多尺度融合特征。之后本文构造图像的常规特征提取通路和特征差分通路的双通道网络模型,实现对煤和异物特征的识别。最后,对陕煤曹家滩煤矿的煤流输送带监测图像的异物进行识别。结果表明,基于机器视觉灰度化双通道金字塔卷积模型对煤流输送带的异物识别准确率为95.7%,比经典的卷积网络模型的识别精度提高了2.1%,相比于传统图像灰度化固定权值识别模型,基于权值自适应训练的异物识别模型精度提升了5.2%。

基于数字图像处理的电力线异物识别方法研究

针对架空线路异物搭挂的潜在威胁,本文提出一种快速识别航拍图像中异物的方法。首先运用直线段检测(LSD)算法从预处理后的图像中提取电力线,并基于架空导线上异物特征设计针对异物的识别算法,提取导线异物;接着对其进行边缘检测,提取缺陷画框并在巡检图像中标识;最后,通过多组样本数据对算法实用性能进行评估。实验结果表明,该方法能对输电导线上搭挂异物的情况进行有效识别,在无人机电力巡检中具有一定的应用价值。

汽车底盘及四周盲区的异物识别装置的研制

市场上流行各种形式的车载安全监控系统,是基于汽车前后方的识别及报警。但是对于汽车底盘及轮胎部分的盲区的识别,没有设备来为司机传递信息。本文研究的盲区异物识别装置主要包括尾部异物识别摄像头和超声波探测装置。摄像头装在车辆底盘,与汽车电源连接并可将底盘的情况显示在驾驶员手机。超声波探头装于车轮上方,能显示所监测位置周围的异物距离,并通过蜂鸣器报警。本装置为简化了对盲区异物的识别异物,可减少不必要的伤亡事故,提高了行车的安全性。

用于电网异物识别的生成式对抗卷积神经网络算法

电网异物入侵、人员行为的自动辨识为消除安全隐患提供了一种有效手段。考虑到传统电力图像辨识精度低的问题,文章提出了一种用于电网异物识别的生成式对抗卷积神经网络算法。针对异常图像样本数据不足及不均衡,首先,利用生成式对抗网络的零和博弈及对抗训练,获得具有异常特征的图像;然后,利用卷积神经网络的特征提取能力分析真实样本及生成图像,执行目标检测任务;最后,将算法对异物入侵及人员行为图像进行识别检测,结果表明,所提方法可以有效提升电力监控图像异常检测的识别率。

基于AI智能摄像监测的煤流系统异物识别控制技术研究与应用

以煤矿井下摄像仪的实时视频图像数据为基础、以AI图像智能识别技术为核心、以机器深度学习数学模型和报警系统为支撑、以自动化模糊控制技术为手段的综合性视频智能控制系统,是基于AI智能摄像监测的煤流系统异物识别控制技术,具有隐患识别、煤流量检测、联动控制等功能,代替了人工作业,有效遏制了煤流设备运行事故的发生,能够减少设备磨损和降低能耗,创造了极大的经济效益。