用于PCB缺陷检测的增强上下文信息Yolov4_tiny算法

针对现有的PCB缺陷检测存在检测精度低、速率慢等问题,提出一种用于PCB缺陷检测的增强上下文信息Yolov4_tiny算法;该算法首先通过Transformer编码单元对特征提取网络深层特征冗余的问题进行优化,增强网络捕获不同尺度局部特征信息的能力;然后利用浅层特征增强PCB缺陷小目标上下文信息,提升FPN网络对小目标缺陷的表征能力;最后引入注意力机制对特征提取网络输出的有效特征层加权,强化目标特征表征能力;实验结果表明,该算法对于整体缺陷的平均检测精度的均值(mAP)达到98.70%,较Yolov4_tiny提升了3.12%,实现了PCB缺陷精准定位和识别,满足工业检测的实际需求。

基于线结构光的厚板焊缝特征点提取算法

针对厚板结构件在使用激光视觉系统时图像特征区域提取难和工件表面加工不均匀漫反射等导致特征点提取困难的问题,提出基于线结构光的厚板焊缝特征点提取算法。首先,激光视觉系统获取焊缝图像并使用YOLOv4算法进行预训练,利用训练获取的权重文件自动检测并获取焊缝特征感兴趣区域(ROI);其次,对ROI进行降噪、二值化等处理,通过逐行(列)搜索法得到焊缝中心线;最后,根据不同焊缝类型,基于最小二乘法使用距离法和直线段聚类的方法来提取特征点。实验结果表明:该方法可有效提取不同类型的焊缝特征点,具有鲁棒性强、识别误差小等特点。

基于红外相机和毫米波雷达融合的烟雾遮挡无人驾驶车辆目标检测与跟踪

战场环境下无人驾驶车辆的感知系统易受烟雾、扬尘等天气的影响,对关键目标的检测与跟踪能力大大下降,造成目标漏检、目标误检、目标丢失等严重后果。针对该问题,开发毫米波雷达和红外相机融合系统,采用目标级融合方式建立简洁有效的融合规则,提炼和组合各传感器的优势信息,最终输出稳定的目标感知结果。对毫米波雷达的目标进行有效性检验和提取,并提出改进的基于密度的含噪声空间聚类应用算法,以减少毫米波雷达噪音干扰。以YOLOv4网络为基础,引入MobileNetv2主干网络,在网络训练过程中运用迁移学习方法,同时对红外数据样本进行扩充,解决了红外图像训练样本少的问题。试验结果表明,相较于仅基于红外相机的算法,融合检测算法在烟雾环境下的精度显著提升,且算法实时性高,实现了烟雾环境下毫米波雷达与红外相机融合的目标检测与跟踪,提高了无人驾驶车辆目标检测与跟踪系统的抗烟雾干扰能力。

融合GhostNet的YOLOv4轻量化网络设计与实现

由于存储资源和功耗等限制,在嵌入式设备上部署基于深度学习的目标检测算法存在困难,且效果不佳.基于YOLOv4算法,提出了一种改进的YOLOv4-Light轻量化网络模型,采用GhostNet网络结构替换CSPDarknet53作为主干提取网络,引入CBAM注意力机制关注通道和空间两个维度的特征信息,并利用感知量化方法对权重进行INT8量化处理,在保证精度的情况下降低网络模型规模和参数量.在PC端和NVIDIA Jetson Xavier NX上选用VisDrone无人机数据集分别对网络模型进行测试,结果表明YOLOv4-GhostNet-CBAM模型的尺寸是160M,比YOLOv4降低了34.43%;检测速率最高可达到34.6FPS,比YOLOv4提高了56.6%.YOLO-Light模型的尺寸是40.2M,比YOLOv4降低了83.5%;检测速率最高可达到78.6FPS,为YOLOv4的3.6倍,且交并比为0.5时的平均精度均值(mAP50)与YOLOv4相比仅下降了3%.YOLO-Light模型相较于原模型优势明显,能够在低功耗的嵌入式设备上完成实时目标检测.

基于深度学习的近地面草原鼠洞识别计数关键问题研究与应用

鼠洞密度可用于评估草原鼠害发生程度。在近地面鼠洞图片采集与识别中,图像分辨率和拍摄倾角是影响时效性和识别性能的关键因素。为此,设计了带有倾角传感器的图像采集装置,在锡林郭勒草原采集2325张鼠洞图片并进行手工标注,对比分析了3种图片输入尺寸(416 pixel×416 pixel、608 pixel×608 pixel、1024 pixel×1024 pixel)、4类拍摄倾角(21°、32°、41°、51°)、2种目标识别模型(YOLOv3和YOLOv4)对识别性能的影响。结果表明:YOLOv4模型在输入图片尺寸为416 pixel×416 pixel时能取得最优的性能。当拍摄倾角为41°时,识别性能最优;当拍摄倾角为32°时,识别性能最差。与近3年发表的鼠洞识别方法进行对比分析,验证了本文方法的性能先进性。研究结果可为草原鼠害的智能化监测提供技术支撑。

基于YOLO-J的PCB缺陷检测算法

针对现有PCB缺陷检测方法存在准确率低和模型参数量过多的问题,提出基于改进YOLOv4的YOLO-J的PCB缺陷检测算法。该方法使用Resnet作为模型的特征提取网络,解决YOLOv4中因CSPDarknet53参数太多从而难以部署在移动端的问题。为避免替换特征提取网络降低检测效果,通过增加注意力机制和改进PANet结构,提高模型对小目标PCB缺陷的特征提取能力。使用H-Swish激活函数作为颈部的激活函数,以达到提升检测精度和训练速度的目的。另外,通过使用二分K-means对PCB数据集聚类,解决初始锚框不适合检测PCB缺陷的问题。使用北京大学实验室公开发布的PCB缺陷数据集进行实验,结果表明,该方法相较于YOLOv4,在IoU=0.5时mAP提升了0.29%;在IoU=0.5:0.95时mAP和召回率均提升了6.7%,速度提升了2.24FPS,模型大小为132MB,约为YOLOv4的1/2。

针对嵌入式设备的YOLO目标检测算法改进方法

针对算法在资源有限的嵌入式设备实现困难的问题,本文基于YOLO系列算法提出适应嵌入式设备实现的轻量化改进方法。方法具体包括:基于YOLOv4-Tiny算法结构,引入GhostNet思想改进其网络主干,大量降低网络参数量和计算量;通过加强颈部网络特征融合效果,减少模型压缩导致的精度损失;采用训练中量化的方式将网络模型参数从32位浮点型数据转换为适合嵌入式设备计算的8位定点型参数。实验结果表明,改进后的网络在检测精度满足应用要求的情况下,模型尺寸相对原算法降低57%,在嵌入式设备上实现功耗仅3.795W。

基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod,TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling,FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电饭煲内胆缺陷数据集Enaiter的测试集上对所提算法进行了测试,测得的map@50结果分别为0.80,0.66和0.57,相比大部分主流的用于缺陷检测的目标检测算法均有提升,且模型参数量仅为原YOLOv4的一半,速度与YOLOv4接近,可满足实际使用需求。

基于改进YOLOv4轻量化网络的机械手状态检测算法

YOLOv4网络结构复杂、参数较多、模型较大,因此极大地限制了其在工业上的应用.针对这一问题,提出一种改进YOLOv4的轻量化网络.首先,采用GhostNet代替YOLOv4主干网络,简化网络结构,降低模型参数量;其次,为了弥补网络简化后带来的精度损失,在其余两个输出特征层后加入Spatial Pyramid Pooling结构,加强特征提取;再次,加入Squeeze and Excitation Network通道注意力机制,增强网络重要信息提取能力;最后,将损失函数CIOU替换为SIOU,加快模型收敛,进而产生更好的模型.实验结果表明,在满足工业要求的前提下,改进后的轻量化网络相比于YOLOv4网络,在牺牲较小检测精度的情况下,模型参数量和计算量大幅下降,同时检测速度得到了提升,从而证明了改进算法在光纤插拔任务中机械手夹持状态识别检测的有效性.

基于改进YOLOv4-tiny的果园复杂环境下桃果实实时识别

为实现果园复杂环境下的桃果实实时识别,提出一种基于YOLOv4-tiny的桃果实实时识别方法 YOLOv4-tinyPeach。通过在主干网络中引入卷积注意力模块CBAM,优化其通道维度和空间维度的特征信息;在颈部网络中添加大尺度浅层特征层,提高对小目标识别精度;采用双向特征金字塔网络BiFPN对不同尺度特征信息进行融合。通过训练和比较,YOLOv4-tiny-Peach模型在测试集下的平均精度AP为87.88%,准确率P为91.81%,召回率R为73.84%,F1值为81.85%,相比于改进前,AP提升5.46%,P提升2.29%,R提升4.09%,F1提升3.44%。为检验改进模型在果园复杂环境下的适应性,在不同数目、不同成熟期和遮挡的情况下对果实图像进行识别,并与原模型识别效果进行对比,结果表明改进模型在三种情况下的识别精度均高于原模型,尤其在大视场和未熟期场景下模型改进效果显著。YOLOv4-tiny-Peach模型占用内存为27.4 MB,识别速度为49.76 fps,适用于农业嵌入式设备。为果园复杂环境下的桃果实自动采摘提供实时精准的目标识别指导。

引入Transformer的道路小目标检测

针对道路场景中检测小目标时漏检率较高、检测精度低的问题,提出一种引入Transformer的道路小目标检测算法。在原YOLOv4算法基础上,对多尺度检测进行改进,把浅层特征信息充分利用起来;设计ICvT(improved convolutional vision transformer)模块捕获特征内部的相关性,获得上下文信息,提取更加全面丰富的特征;在网络特征融合部分嵌入改进后的空间金字塔池化模块,在保持较小计算量的同时增加特征图的感受野。实验结果表明,在KITTI数据集上,算法检测精度达到91.97%,与YOLOv4算法相比,mAP提高了2.53%,降低了小目标的漏检率。

基于协调注意力机制的轻量级YOLOv4零件检测

针对零件自动检测任务在复杂工况下,如零件堆叠粘连、有杂物干扰等,存在实时性差、硬件资源占用大等问题,提出一种基于轻量级YOLOv4网络的零件检测方法。采用MobileNeXt代替CSPDarkNet53作为主干特征提取网络(backbone),并在每个卷积模块中添加协调注意力机制,用于增强特征层的语义表达能力;提出一种Fused-Sandglass模块插入到浅层的backbone中,提高网络的推理速度;网络训练方面引入渐进式训练方法和focal loss损失函数,提升训练速度,并且有效缓解正负样本失衡的问题。实验结果表明,该方法在15种零件的检测任务中能够保持和YOLOv4网络相近的准确率,但参数量大小仅为其20%,推理速度达到了43.7 fps,能够满足实际生产的需求。

基于改进YOLOv4算法的遥感图像飞机目标检测

针对在遥感图像上对飞机目标检测的精度低问题,论文通过对PANet特征融合网络结构的加深使得YOLOv4算法对小目标的检测更加敏感,进而提高算法的平均检测精度;另外,利用K-means++算法产生了能够自适应与数据集的检测先验框以减少YOLOv4检测算法对边界框回归损失计算过程中的冗余。在RSOD(Remote Sensing Object Detection)数据集上的对比实验表明,综合改进后的YOLOv4算法AP值达到了80.25%。特别地,改进后的YOLOv4算法对小目标检测的置信度得分较高。

基于计算机软件技术在大数据时代的应用研究

在当前大数据时代背景下,计算机软件技术的迅速发展已经引领人类进入了一个信息爆炸的新时代。在交通目标识别问题中,也广泛应用了计算机软件技术,然而低光照交通环境会显著降低图像的质量,进而影响识别的准确率。为了解决这一问题,研究提出Yolov4的改进算法CLAHE-GhostNet-CBAM-Yolov4(CGC-Yolov4)。研究在输入模块中对输入图像采用CLAHE图像增强算法,用GhostNet替代Yolov4主干网络,在瓶颈网络的末端添加了注意力机制。性能测试的结果表明在行人目标识别中,研究提出的模型F1得分在第12次迭代达到91%,最高可达98%。实验结果表明,相较于传统模型CGC-Yolov4不仅提高了识别效率,也保持了极佳的实时处理能力,证明了其在夜间交通目标识别应用中的实用性和有效性。

基于YOLO算法的非机动车辆检测模型

针对自动驾驶车辆目标检测过程中非机动车因体积小、易被遮挡而导致误检和漏检的问题,为提高非机动车的检测精度,对YOLOv4基础算法进行改进,利用跨阶段连接优化特征提取融合网络,在减少计算量的同时提高检测性能,并嵌入卷积块注意力模块(CBAM),通过通道和空间注意力权值分配来增大有效特征权重、提高检测精度,同时,利用自建的非机动车数据集,在锚框(Anchor)自适应匹配的基础上建立非机动车检测模型。最后,为验证模型的有效性,通过消融实验对比模型性能,结果表明,所提出的检测模型能够有效提高非机动车的检测和识别效果,较好地解决误检和漏检问题。

YOLOv4-tiny模型在边缘计算平台的加速设计

近年来,随着目标检测算法的快速发展,其模型规模也越来越大,在嵌入式移动端中部署时往往存在着功耗和时延等限制。针对此问题,采用输入输出通道的并行组合策略、数据定点量化、多通道数据传输等硬件加速方法,设计了一种基于FPGA平台的目标检测加速器架构。以YOLOv4-tiny模型算法为例进行硬件加速设计实现,使用输入输出通道并行组合策略对加速器的输入输出模块进行优化,提高了带宽的利用率;采用双缓存结构对加速器的访存机制进行优化,提高了系统的传输效率,并对加速器的性能以及资源消耗情况进行评估、分析和验证。实验结果表明,在PYNQ-Z2平台上该架构的性能为10.96 GOPS,功耗为2.98 W。与已有研究中在FPGA平台部署目标检测算法的实验进行比较发现,本文所提出的加速器的加速效果更好。

基于多尺度特征提取与融合的垃圾分类模型研究

以YOLOv4算法为基础,了解YOLOv4算法的基本结构及其在垃圾分类实际应用场景中存在的问题,提出了YOLOv4算法改进策略,通过在CBM模块中设定两个卷积核来实现不同尺寸垃圾的特征提取。对改进的多尺度特征提取与融合的垃圾分类模型进行训练与验证,发现改进的YOLOv4算法可以很好地满足多尺度特征提取与融合的基本需求,对小尺寸垃圾目标的分辨效率可达85%以上,处理时间也能很好地满足实际应用场景的基本需求,并且卷积核值设定越小,垃圾目标识别精确度越高,处理时间也会相应增加,可以很好地促进垃圾分类产业向智能化转变。

基于改进YOLOv4的低慢小无人机实时探测算法

针对低慢小无人机探测任务中精度不高、在嵌入式平台上部署实时性能差的问题,提出了一种基于改进YOLOv4的小型无人机目标检测算法。通过增加浅层特征图、改进锚框、增强小目标,提高网络对小目标的检测性能,通过稀疏训练和模型修剪,大大缩短了模型运行时间。在1080Ti上平均精度(mAP)达到85.8%,帧率(FPS)达75 frame/s,实现了网络轻量化。该模型部署在Xavier边缘计算平台上,可实现60 frame/s的无人机目标检测速度。实验结果表明:与YOLOv4和YOLOv4-tiny相比,该算法实现了运行速度和检测精度的平衡,能够有效解决嵌入式平台上的无人机目标检测问题。

基于前视声呐图像的AUV目标识别与跟踪

声呐图像由于水体不均匀、边界不规则以及声呐设备本身性能的限制,导致图像噪声明显、亮度不均、分辨率低,使得水下AUV装备在使用前视声呐进行水下目标检测时难度较大。针对该问题,基于m750d声呐探测获得的AUV声呐数据,进行了数据提取、高斯滤波处理、扇形映射处理,并采用Jet映射对声呐灰度图像进行了伪彩色映射提高数据标注速度和精度,制作获得了4组2 500张声呐图像的AUV目标检测数据集;采用YOLOv4-tiny目标检测算法开展AUV目标检测研究,研究结果表明该方法在该数据集上表现优秀,mAP@0.50达到94.17%,FPS在22帧左右,说明该轻量级网络在水下AUV目标识别与跟踪应用上具有较好的应用价值。

基于改进YOLOv4的混凝土裂缝检测方法

为了解决深度学习目标检测模型在混凝土裂缝应用上检测精度低、检测速度慢等问题,提出一种基于改进YOLOv4的混凝土裂缝检测方法。首先将YOLOv4的主干特征提取网络替换为轻量级网络Mobilenetv1,并且将YOLOv4加强特征提取网络中的普通标准卷积修改为深度可分离卷积;其次在PANet模块部分添加轻量级注意力模块CBAM(Convolutional Block Attention Module),在控制参数量的基础上提高裂缝目标检测的精度;最后用模拟人类视觉的RFB-s模块代替YOLOv4中的空间金字塔池化模块(Spatial Pyramid Pooling, SPP),扩大感受野,提高检测精度。实验结果表明,与传统YOLOv4相比,本模型的mAP增加三个百分点,参数量减少至14 M,检测速度可达42帧每秒。