基于YOLOv5与Deep-SORT的机场跑道侵入告警技术研究

针对传统的跑道侵入告警设备自动化水平低、安装维护成本较高的问题,通过机场视频系统获取机场场面图像信息,采用YOLOv5对机场场面航空器进行检测;使用轻量化网络ShuffleNetv2对Deep-SORT算法进行优化,实现对机场场面航空器的跟踪;根据单目视频采集系统建立坐标转换和测距模型,对机场场面航空器与跑道中线的距离进行准确测量,根据地面保护区设置合适的阈值实现跑道侵入告警。实验结果表明,优化后的模型平均处理时间降低了25.64%,模拟环境下航空器距跑道中心线11、18和43 cm的测距平均误差分别为0.02、0.01和0.01 cm,跑道侵入告警准确率为95.86%,该模型实时性好、准确率高,能够有效预防跑道侵入事件的发生。

基于YOLOv5+Deep-SORT的运煤车辆目标检测与跟踪

煤的运输对山西煤矿资源的管理有着重要意义。本研究使用某洗煤厂的入口监控视频进行间隔帧的提取,选取mAP@0.5为0.957的YOLOv5算法对视频中运煤车辆进行目标检测,在此基础上使用Deep-SORT算法进行目标跟踪,并实现了运煤车辆的统计。系统的设计和实现解决了洗煤厂在运煤过程中煤丢失的问题。

基于改进YOLO v3模型与Deep-SORT算法的道路车辆检测方法

针对道路车辆实时检测遮挡严重与小目标车辆漏检率高的问题,提出了基于改进YOLO v3模型和Deep-SORT算法的车辆检测方法;为提高模型对道路车辆的检测能力,采用K-meansSymbolk@pSymbolk@p聚类算法对目标候选框进行聚类分析,选择合适的Anchor box数量,并在网络浅层增加了特征提取层,可提取到更精细的车辆特征;为加强网络对远近不同目标的鲁棒性,在保留原YOLO v3模型输出层的同时,增加了一层输出层,将52像素×52像素输出特征图经过上采样后得到104像素×104像素特征图,并将其与浅层同尺寸特征图进行拼接,实现车辆目标的检测;为了降低目标遮挡对检测效果的影响,提高对视频上下帧之间关联信息的关注度,将改进YOLO v3模型和Deep-SORT算法相结合,以此来弥补两者之间的不足。试验结果表明:改进YOLO v3模型有效地提高了车辆检测的性能,与在网络浅层增加特征提取层的模型相比,平均精度提高了1.4%,与增加一层输出层的模型相比,平均精确度提高了0.8%,说明改进YOLO v3模型提取的特征表达能力更强,增强了网络对小目标的检测能力;改进YOLO v3模型在引入Deep-SORT算法后,查准率和召回率分别达到90.16%和91.34%,相比改进YOLO v3模型,查准率和召回率分别提高了1.48%和4.20%,同时保证了检测速度,对于不同大小目标的检测具有良好的鲁棒性。

基于深度学习的物流跟踪管理

利用先进的人工智能和计算机视觉技术,物流管理取得了重大进展。如何建立一套能够有效解决物体遮挡、运动模糊、目标相似等实际问题的检测技术,是一个重要的挑战。文章提出了一种基于YOLOv8和Deep-SORT的方法来跟踪货物位置。该系统可以有效地识别、定位、跟踪和计数镜头前的货物。称之为“warehouse management”,该算法基于示例跟踪范式,并将跟踪应用于检测对象的边界框。在此基础上,自动识别感兴趣区域(ROI),有效消除不需要物体。我们的F1的分数是0.816 7。

基于机器视觉的煤矸石分选方法研究

传统的煤矸石分选方法存在成本高、效率低以及安全性不足等问题。近年来,随着深度学习相关技术的迅速发展,基于目标检测算法的智能选矸已经成为矸石分选的重要研究方向。为实现矸石与煤块的高效分选,本文提出一种基于机器视觉与深度学习相结合的检测方法。该方法以YOLOv5s模型为基础,首先,在主干部分中加入卷积注意力模块(CBAM)用于提高网络的特征提取能力;其次,在颈部网络部分采用加权双向特征金字塔结构(BiFPN)来增强网络的多尺度特征融合,避免漏检与误检现象的发生;再次,在预测部分使用EIoU函数作为改进后模型的损失函数,以进一步提高检测精度;最后,在训练前对原有数据集进行扩充,使模型的泛化能力得到进一步加强。实验结果表明:改进后模型平均检测精度为95.3%,较原模型提高了2.1%,能够有效地替代人工分选。

智能垃圾分类拾捡机器人抓取目标定位方法

为准确定位抓取目标所处位置,提出基于深度学习的智能垃圾分类拾捡机器人抓取目标定位方法。定义深度学习算法的目标函数,并在此基础上,完成对抓取目标的检测。建立抓取目标尺度空间,并标定具体的机器人抓取对象,再根据抓取目标定位条件估算值,实现抓取目标定位。实验结果表明,所提方法应用可以有效控制抓取目标节点与定位节点之间的坐标差水平,能够准确定位抓取目标,具有突出的作用价值。

深度学习驱动的液滴微流控单细胞分选系统

单细胞操作和分析对于研究许多基本生物学过程和揭示细胞异质性至关重要,并且在生物医学领域具有巨大的应用潜力。液滴微流控技术在单细胞分析方面具有显著优势。研制了一种深度学习驱动的液滴微流控单细胞分选系统,主要以液滴内所包含的生物样本种类以及数量作为标准分选目标液滴。根据实验需求制作好相应生物样本的数据集,在服务器上训练好对应的网络模型,并将该网络模型转移到NVIDIA Jetson TX2开发板上,利用该网络模型对实验过程中拍摄到的液滴图像进行实时检测判断,最后根据算法对包含特定物质的液滴进行分选,从而得到目标液滴。此方法能够有效地判断并分选出液滴内图像特征有差异的不同生物样本,可以实现对包含单个及2个细胞液滴的分选。该研究为液滴微流控单细胞分选技术在生物学和医学等领域的广泛应用提供了支撑。

基于嵌入式机器视觉的流水线分拣机器人设计

针对传统流水线上人工错误率高、速度慢和人工成本高的问题,设计了一种深度学习的流水线智能分拣机器人来缓解流水线的压力。该机器人采用分层结构设计,上位机采用Jetson Nano来完成机器人的图像采集、识别和处理,下位机由STM32G0作为主控,通过舵机和电机实现机器人的功能控制。同时上位机与下位机之间进行有效的数据交互,实现了机器人的抓取和分拣协调工作。在实验测试中,该机器人能够通过学习样本实现自动分拣不同类型的对象,并且能够精确识别。该流水线分拣机器人融入了计算机视觉与嵌入式系统,不仅使分拣机器人结构更紧凑,而且有利于提高社会生产力水平,具有良好的应用前景。

基于深度学习的智能垃圾分类系统设计与实现

实施垃圾分类是一项具有深远意义的举措,它不仅能够节约宝贵的国家生态资源,而且深刻影响着居民的生活品质,成为衡量社会文明程度的重要标尺。随着垃圾分类工作在全国范围内的逐步推进和试行,越来越多的居民已经形成了垃圾分类的良好习惯,特别是在一些试点区域,管理工作也日渐规范化和精细化。然而,从更宏观的角度来看,目前社会上垃圾分类的普及意识和实际操作水平仍显不足,存在着诸多亟待解决的问题和挑战。与此同时,市场上的垃圾分类产品不仅功能相对单一,而且种类也较为有限,难以满足日益增长的多元化需求。鉴于此,开发了一个基于深度学习技术的智能垃圾分类系统,该系统涵盖了垃圾分类模型的训练、评估以及Web服务端开发等多个关键环节,旨在通过技术手段提升垃圾图片的识别准确率,从而改善现有垃圾分类软件的用户体验,促进垃圾分类工作的深入开展和全面普及。

生活垃圾分类中神经网络样本不平衡研究

针对生活垃圾分类中存在的样本不平衡问题,本文基于实例分割模型Mask R-CNN神经网络展开研究,通过调整神经网络的损失函数和扩充数据集中的难分正样本来提升神经网络的检测精度。实验结果表明,该方法降低了数据不平衡对网络性能的影响,使生活垃圾的回收率得到了提升。

基于深度学习的智能交通车流监测与预测研究

为了方便交通部门改善交通拥堵问题,使用旭日X3嵌入式开发板作为硬件平台,通过YOLOv8深度学习网络识别道路上通行的车辆及其车辆类型。使用开放神经网络交换(Open Neural Network Exchange, ONNX)格式可视化编辑工具去掉了模型的输出头,将网络中的激活函数由SiLU函数更换为ReLU函数,将模型输出由80个检测类别更改为4个检测类别,在Small版本中,使用非极大值抑制算法(Non-Maximum Suppression, NMS)将最合适的检测框筛选出来,然后用SORT(Simple Online and Realtime Tracking)多目标追踪算法和匹配算法将独立帧检测到的车辆关联起来,实现车辆自动计数。在服务器上配置好YOLOv8的训练环境,训练3个周期,测试模型的mAP指标为0.635,推理速度提升至20 fps左右,目标检测系统的计数精度达到98%,可以准确获取到路口的交通流数据,帮助改善交通拥堵问题。

基于深度学习的产品分拣机器人设计

随着人工智能时代的到来,智能机器人被广泛运用在各个领域中,其中分拣式机器人的运用最为广泛,由于其高效快速地完成现代生产生活中的分类工作,因此在工业生产和环境科学等领域都有其身影。通过分析快递行业分拣工作存在的问题,提出了用分拣机器人进行分拣工作的策略,利用Tensorflow框架建立CNN神经网络模型,通过Keras-YOLOV3算法实现将物体归类并生成带有分类以及置信度的锚框,设计了基于深度学习的产品分拣机器人,实现对工厂流水线零件的分类和通过摄像头识别工厂流水线生产零件并利用机械臂完成零件分类工作。

基于长短期记忆-深度Q值网络的异构机器人煤矸协同分选方法

【目的】提高传统的单一类别煤矸分选机器人在面对形状、尺寸差异较大的矸石时的适应性,分析异构机器人工作特性,实现异构机器人协同分选。【方法】基于深度Q值网络(deep Q network,DQN)提出异构机器人协同分选模型;分析协同工作分选流程制定决策框架,根据强化学习所需,设计交互环境,构建智能体连续的状态空间奖惩函数,长短期记忆网络(long short term memory,LTSM)和全连接网络相结合,构建DQN价值和目标网络,实现强化学习模型在工作过程中的任务分配。【结果】协同分选模型与传统顺序分配模型相比,在不同含矸率工作负载下,可提高分选效益0.49%~17.74%;在样本含矸率为21.61%,传送带速度为0.4~0.6 m/s的条件下,可提高分选效率2.41%~8.98%。【结论】异构机器人协同分选方法可以在不同的工作负载下获得稳定的分拣效益,避免单一分配方案无法适应动态变化的矸石流缺陷。

车载相机和GPS信息融合的城市道路交通信息检测方法

利用车载相机进行城市道路交通信息采集时通常会面临诸多难题,如城市道路环境复杂、驾驶视角下的车辆遮挡、无法独立获取自身位置信息等。针对上述问题,提出一种基于车载相机和GPS信息融合的城市道路车辆纵向间距与纵向速度估计方法,进而实现对路侧停靠车辆的识别以及城市道路通行速度、交通流密度以及交通流量的检测。实车实验结果表明本方法能够实现准确可靠、经济有效的移动式城市道路交通信息检测,能够为智能车辆和智能交通系统的相关研究提供数据支撑。

基于YOLOv5s-SDE的带式输送机煤矸目标检测

传统的煤矸图像检测方法需要人工提取图像特征,准确率不高,实用性不强。现有基于改进YOLO的煤矸目标检测方法在速度和精度方面有所提升,但仍不能很好地满足选煤厂带式输送机实时智能煤矸分选需求。针对该问题,在YOLOv5s模型基础上进行改进,构建了YOLOv5s-SDE模型,提出了基于YOLOv5s-SDE的带式输送机煤矸目标检测方法。YOLOv5s-SDE模型通过在主干网络中添加压缩和激励(SE)模块,以增强有用特征,抑制无用特征,改善小目标煤矸检测效果;利用深度可分离卷积替换普通卷积,以减少参数量和计算量;将边界框回归损失函数CIoU替换为EIoU,提高了模型的收敛速度和检测精度。消融实验结果表明:YOLOv5sSDE模型对煤矸图像的检测准确率达87.9%,平均精度均值(mAP)达92.5%,检测速度达59.9帧/s,可有效检测煤和矸石,满足实时检测需求;与YOLOv5s模型相比,YOLOv5s-SDE模型的准确率下降2.3%,mAP提升1.3%,参数量减少22.2%,计算量下降24.1%,检测速度提升6.4%。同类改进模型对比实验结果表明,YOLOv5s-STA与YOLOv5s-Ghost模型的检测精度明显偏低,YOLOv5s-SDE模型与YOLOv5s模型及YOLOv5s-CBAM模型的检测效果整体相近,但在运动模糊和低照度情况下,YOLOv5s-SDE模型整体检测效果更优。

基于VFNet-Improved和Deep Sort的棉花黄萎病病情分级

棉花是全球最重要的经济作物之一,而黄萎病是世界主要棉花生产区的第一大病害,黄萎病病原菌通过感染棉花的根部使叶片萎蔫、褪色以致脱落,导致棉花质量和产量严重下降。国家标准将患黄萎病叶片划分为5个等级,传统检测方法主要依赖人工,存在主观、低效、重复性差等问题,因此提出一种以VFNet-Improved、Deep Sort和撞线匹配机制为主要算法框架的棉花黄萎病病情分级方法,实现在旋转视频输入情况下对患病叶片的数量统计和病情等级的划分。研究首先基于VFNet目标检测网络,融合多尺度训练、动态卷积等优化方法,实现对旋转视频中患病叶片的精准定位;然后采用Deep Sort跟踪器实现前后帧同一叶片的相互关联,并针对跟踪过程ID跳变问题设计了掩膜撞线匹配机制;最后使用OpenCV对经过掩膜线的叶片进行特征提取与患病分级的划分。试验结果表明,VFNet-Improved可以有效改善棉花患病叶片识别精度,mAP75达到0.906,较改进前VFNet模型提升了0.012,帧率FPS为12.9帧/s;Deep Sort跟踪器跟踪效果MOTA为0.835,对患病叶片数量统计结果R2、RMSE、MAE与MAPE分别为0.890、5.138、4.300和14.967%,与人工统计值具有较高一致性。本研究为棉花黄萎病病情精准、高效鉴定提供一种新的科学工具,对棉花抗病品种筛选和遗传机制解析具有重要意义。

深度学习的车间零件分拣机器人目标识别方法

针对目前方法识别机器人目标时,由于未能详细分析分拣机器人运动规律,导致该方法开展目标识别时,存在平均置信度低、识别效果差等问题,提出深度学习的车间零件分拣机器人目标识别方法。该方法通过分析分拣机器人运动规律,提取待检测目标的特征向量值;结合深度学习理论建立目标识别模型,并寻找模型最佳参数;建立待检测目标的相关测试集放入模型中训练,基于模型输出结果,完成机器人的目标识别。实验结果表明,运用该方法识别目标时,其在特征提取后,分拣目标数量为1000个时,识别准确率达到了97.5%以上,识别耗时在100s以下,平均置信度约为0.8,有效提高了平均置信度、降低了识别时间,识别效果好。

基于SE-ResNet网络的油茶果果壳与茶籽分选模型

油茶果脱壳后果壳与茶籽混合在一起,采用传统的机械分选仍会出现掺杂果壳的情况,清选率有待提高。比较ResNet不同层数模型,发现在当前壳籽实验样本下ResNet18与其他模型相比每次迭代的平均训练时间最少,并且验证集平均准确率最高,同时均优于其他CNN分类模型。为进一步提升分选效率,在ResNet18网络中引入注意力机制,结果表明,SE-ResNet18模型与改进前的模型相比,训练过程中每次迭代的平均时间由1.31 s下降到1.13 s,缩短0.18 s,验证集平均准确率为98.88%,提升1.4个百分点。经过测试后得出,测试集整体准确率为98.43%,与原模型相比提升1.3个百分点,说明使用ResNet18模型结合注意力机制的方法在油茶果果壳与茶籽的分选上是可行的,为油茶果在分选方法提供一种新的理论基础与思考方向。

一种基于Jetson Nano深度学习的生活垃圾智能分类桶

长期以来,垃圾处理往往伴随着巨大的资源浪费和环境污染,尽管我国已经出台相关垃圾分类政策,但由于人工分类成本高、分类效率低下等一系列问题,该类政策难以大规模推行。据此,提出了一种以单片机(single chiped microcomputer,SCM)为基础,围绕Jetson Nano为核心设计的生活垃圾智能分类桶。其图像识别基于深度学习设计,通过上位机和摄像头判断投入垃圾桶的垃圾类型,将分析得到的数据传递给下位机;下位机通过控制二维云台进行垃圾分类投放;采用红外测距模块进行满载检测,并在APP界面内进行满溢警报,从而完成了类型识别、分类投放、满溢检测、满载报警的完整过程,实现了生活垃圾自动分类。该装置经实测工作稳定,并有内置的学习函数保障其续航能力,具有很强的实用性。

DS-YOLOv5:一种实时的安全帽佩戴检测与识别模型

基于视频分析技术对生产现场人员安全帽佩戴情况进行自动检测与识别是保障安全生产的重要手段.但是,复杂的现场环境和多变的外界因素为安全帽检测与识别的精确性提出挑战.本文基于YOLOv5模型的框架,提出一种DS-YOLOv5安全帽检测与识别模型.首先,利用改进的Deep SORT多目标跟踪的优势,提高视频检测中多目标检测和有遮挡的容错率,减少漏检情况;其次在主干网络中融合简化的Transformer模块,加强对图像的全局信息的捕获进而加强对小目标的特征学习;最后在网络的Neck部分应用双向特征金字塔网络(BiFPN)融合多尺度特征,以便适应由摄影距离造成的目标尺度变化.所提模型在GDUT-HWD和MOT多目标跟踪数据集上进行了验证实验,结果表明DS-YOLOv5模型可以更好地适应遮挡和目标尺度变化,全类平均精度(mAP)可以达到95.5%,优于其他常见的安全帽检测与识别方法.