融合GhostNet的YOLOv4轻量化网络设计与实现

由于存储资源和功耗等限制,在嵌入式设备上部署基于深度学习的目标检测算法存在困难,且效果不佳.基于YOLOv4算法,提出了一种改进的YOLOv4-Light轻量化网络模型,采用GhostNet网络结构替换CSPDarknet53作为主干提取网络,引入CBAM注意力机制关注通道和空间两个维度的特征信息,并利用感知量化方法对权重进行INT8量化处理,在保证精度的情况下降低网络模型规模和参数量.在PC端和NVIDIA Jetson Xavier NX上选用VisDrone无人机数据集分别对网络模型进行测试,结果表明YOLOv4-GhostNet-CBAM模型的尺寸是160M,比YOLOv4降低了34.43%;检测速率最高可达到34.6FPS,比YOLOv4提高了56.6%.YOLO-Light模型的尺寸是40.2M,比YOLOv4降低了83.5%;检测速率最高可达到78.6FPS,为YOLOv4的3.6倍,且交并比为0.5时的平均精度均值(mAP50)与YOLOv4相比仅下降了3%.YOLO-Light模型相较于原模型优势明显,能够在低功耗的嵌入式设备上完成实时目标检测.

基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod,TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling,FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电饭煲内胆缺陷数据集Enaiter的测试集上对所提算法进行了测试,测得的map@50结果分别为0.80,0.66和0.57,相比大部分主流的用于缺陷检测的目标检测算法均有提升,且模型参数量仅为原YOLOv4的一半,速度与YOLOv4接近,可满足实际使用需求。

基于改进YOLOv4算法的遥感图像飞机目标检测

针对在遥感图像上对飞机目标检测的精度低问题,论文通过对PANet特征融合网络结构的加深使得YOLOv4算法对小目标的检测更加敏感,进而提高算法的平均检测精度;另外,利用K-means++算法产生了能够自适应与数据集的检测先验框以减少YOLOv4检测算法对边界框回归损失计算过程中的冗余。在RSOD(Remote Sensing Object Detection)数据集上的对比实验表明,综合改进后的YOLOv4算法AP值达到了80.25%。特别地,改进后的YOLOv4算法对小目标检测的置信度得分较高。

YOLOv4-tiny模型在边缘计算平台的加速设计

近年来,随着目标检测算法的快速发展,其模型规模也越来越大,在嵌入式移动端中部署时往往存在着功耗和时延等限制。针对此问题,采用输入输出通道的并行组合策略、数据定点量化、多通道数据传输等硬件加速方法,设计了一种基于FPGA平台的目标检测加速器架构。以YOLOv4-tiny模型算法为例进行硬件加速设计实现,使用输入输出通道并行组合策略对加速器的输入输出模块进行优化,提高了带宽的利用率;采用双缓存结构对加速器的访存机制进行优化,提高了系统的传输效率,并对加速器的性能以及资源消耗情况进行评估、分析和验证。实验结果表明,在PYNQ-Z2平台上该架构的性能为10.96 GOPS,功耗为2.98 W。与已有研究中在FPGA平台部署目标检测算法的实验进行比较发现,本文所提出的加速器的加速效果更好。

基于改进YOLOv4的低慢小无人机实时探测算法

针对低慢小无人机探测任务中精度不高、在嵌入式平台上部署实时性能差的问题,提出了一种基于改进YOLOv4的小型无人机目标检测算法。通过增加浅层特征图、改进锚框、增强小目标,提高网络对小目标的检测性能,通过稀疏训练和模型修剪,大大缩短了模型运行时间。在1080Ti上平均精度(mAP)达到85.8%,帧率(FPS)达75 frame/s,实现了网络轻量化。该模型部署在Xavier边缘计算平台上,可实现60 frame/s的无人机目标检测速度。实验结果表明:与YOLOv4和YOLOv4-tiny相比,该算法实现了运行速度和检测精度的平衡,能够有效解决嵌入式平台上的无人机目标检测问题。

改进YOLOv4-Tiny的面向售货柜损害行为人体检测

无人货柜的安全检测一直是零售领域的热点话题。针对现有人工监控无法及时且有效地捕捉到部分消费者对自助售货柜及其内部商品的损坏行为这一问题,提出了一种改进YOLOv4-Tiny的面向售货柜损害行为人体检测方法。将真实场景采集到的监控视频进行预处理,完成对数据集DMGE-Act的制作,解决场景图像数据源不足的问题。提出了基于YOLOv4-Tiny的改进模型——YOLOv4-TinyX,通过修改神经网络的激活函数进行平滑逼近,分别在主干特征提取网络的最大特征提取层后引入CBAM,在加强特征提取网络中的上采样操作层后引入CA两种不同的注意力机制模块,并且进行了数据不平衡的修正,有效提升了算法的特征提取与检测能力。通过对比实验分析,改进后的模型参数量仅增加2×10^(4)的同时,平均精度均值mAP提升了10.29个百分点,结果表明该算法保持轻量化且对损害行为的检测精度有显著提升。

基于改进YOLOv4的澳洲坚果视觉监测方法

针对大规模澳洲坚果种植园管理困难的问题,提出一种基于改进YOLOv4的林地澳洲坚果生长监测方法。在澳洲坚果种植基地中进行图像采集,记录3种常见的澳洲坚果存在形式,制作VOC数据集并用于模型训练。对样本数量较少的类别进行数据增强,使训练样本均衡分布。在原始YOLOv4方法的基础上进行改进,用DenseNet121网络替换原来的主干网络,并使用Focalloss优化检测模型的分类损失函数,有效提升检测模型精度,同时缓解类别间检测精度不平衡问题。试验结果表明,与YOLOv4、YOLOv3方法相比,所提改进YOLOv4方法对每种澳洲坚果形式的平均精度(AP)均为最高,检测模型的平均精度均值(mAP)达到93.33%,检测速度达到28.7 FPS,实现对林地澳洲坚果落果、病害等生长信息的实时、高效获取,为精确监测澳洲坚果生长状态提供依据。

基于改进YOLOv4-tiny的节肢动物目标检测模型

针对自然环境下节肢动物背景复杂、形态万千、遮挡目标和目标尺度多样等因素,导致模型检测效率不高、边界框定位不准确的情况,提出一种基于改进YOLOv4-tiny的节肢动物目标检测模型。首先,结合空间、通道卷积注意力机制(CBAM),抑制背景噪声;其次,引入可变形卷积(DCN)以及改进的加权双向特征金字塔,重塑卷积和特征融合方式进行多尺度预测;最后,在FPN网络中引出一层Feat@3,嵌入空间金字塔池化结构,有效提取节肢动物的各种显著特征,使模型泛化能力更强,将改进后的模型命名为YOLOv4-tiny-ATO。实验结果表明,该模型在大小仅为54.6 Mb的前提下,很好地平衡了检测速度和检测精度,检测精度为0.725,检测速度达到89.6帧·s-1,召回率为0.585,较改进前相比YOLOv4-tiny模型,检测精度提高0.426,模型在模型大小、检测速度上更适用于移动端部署,模型检测精度也能达到应用标准,满足对节肢动物的检测需求。

基于YOLOv4改进算法的坦克装甲车辆目标检测

在信息化作战的大背景下,为实现无人模式智能收集前方战场的坦克目标信息,研究提出了一种基于YOLOv4地面坦克目标检测的改进算法。基于原YOLOv4目标检测算法,使用多特征层拼接模块增强特征信息的传递与流动;使用全局信息获取模块更好地对全局特征信息进行捕获;使用多尺度信息融合模块扩大特征融合的尺度;添加解耦检测头模块将目标分类和位置回归任务进行解耦操作使得网络学习更加彻底。实验结果显示,与YOLOv4算法相比,改进后的YOLOv4_Modify算法提高了识别精度,其中,Recall值提升了10.2个百分点,mAP值提升了4.3个百分点。实验结果表明,改进后的YOLOv4_Modify算法能够精确地识别出复杂环境下不同尺度的坦克目标,改善了原有检测算法中对较小坦克目标的漏检问题,为信息化作战提供了视觉技术支持。

基于改进YOLOv4的混凝土裂缝检测方法

为了解决深度学习目标检测模型在混凝土裂缝应用上检测精度低、检测速度慢等问题,提出一种基于改进YOLOv4的混凝土裂缝检测方法。首先将YOLOv4的主干特征提取网络替换为轻量级网络Mobilenetv1,并且将YOLOv4加强特征提取网络中的普通标准卷积修改为深度可分离卷积;其次在PANet模块部分添加轻量级注意力模块CBAM(Convolutional Block Attention Module),在控制参数量的基础上提高裂缝目标检测的精度;最后用模拟人类视觉的RFB-s模块代替YOLOv4中的空间金字塔池化模块(Spatial Pyramid Pooling, SPP),扩大感受野,提高检测精度。实验结果表明,与传统YOLOv4相比,本模型的mAP增加三个百分点,参数量减少至14 M,检测速度可达42帧每秒。

基于改进YOLOv4的多目标车辆检测算法

针对现有检测方法存在小目标车辆漏检率高以及夜间车辆误检率高的问题,提出一种基于改进YOLOv4的多目标检测算法。引入深度可分离卷积代替标准卷积,减少模型的参数量与计算量。在保留YOLOv4输出层的同时,增加一层网格为104×104的输出层,提升算法对小目标车辆的检测性能。在Head部分引入Inceptionv3结构,采用K-means++聚类算法重新确定锚框,进一步提高算法对小目标车辆的检测性能。实验结果表明,算法相比改进前,在不降低检测速度的同时,其mAP增加2.44%,模型大小减少1/3,具有良好的鲁棒性。

基于改进YOLOv4的遥感图像目标检测算法

针对遥感卫星图像目标尺寸较小、背景较为复杂并且分布密集的问题,在YOLOv4算法基础上,通过使用K-means重新聚类,优化先验锚框的数量和尺寸,减少网络的计算;引入动态激活函数,自适应网络输入特征,提高模型的泛化能力;改进PANet结构,扩展了浅层特征的特征融合。实验结果表明,改进的YOLOv4算法对遥感图像中密集排列的小目标图像识别的准确率、检测速度都有所提高,满足了对于遥感图像小目标检测的要求。

基于改进YOLOv4的消防设施检测算法

消防安全问题是一个全球性的难题,由于城市化进程加快和人口密集度增大,火灾事故频发,给人们的生命财产安全带来了极大威胁。准确定位建筑图纸中的消防器材作为智慧消防管理中不可或缺的一部分,然而目前建筑楼层消防器材统计效率低下。针对这一问题,文章提出了一种基于YOLOv4的消防设施检测算法以实现消防器材自动检测和定位。首先构建了建筑图纸中消防设施数据集,用于检测识别等研究工作,其次对YOLOv4模型的先验框参数进行设计,使其符合消防设施检测的实际应用,然后根据数据集特点选取合适的特征层降低模型参数量,并使用ASPP扩大模型的感受野,最后对Mosaic数据增强算法的参数进行了实验,提升了模型的检测能力。实验结果表明,所提算法权重为54.07MB,Map值高达89.47%。

基于YOLOv4模型的工件快速识别方法改进研究

为强化智能制造场景中机器人对工件的快速识别性能,从改进YOLOv4模型入手作了方法优化研究。首先,利用Ghost模块优化主干提取网络,以减少网络参数,提高网络检测速度;其次,引入DRConv卷积优化特征提取网络,以弥补对主干网络进行优化所造成的精度损失;最后,引入GAM注意力模块,以强化在光线不足条件下的适应性。通过对YOLOv4模型的改进,在保证较高识别精度和检测速度的同时,使模型规模得以简化,使工件快速识别网络趋于轻量化。

基于YOLOv4改进算法的智能化冰柜商品数量检测方法

随着无人超市中智能冰柜的需求量逐渐增大,智能冰柜商品识别技术得到迅猛发展,如无线射频识别、条形码识别、二维码识别及图像识别等。但由于信号干扰、条形码遮挡、二维码褶皱、识别网络模型过大等原因,以上识别技术存在辨识率不高,速度较慢的问题。针对以上问题,搭建激光散斑测距系统并提出一种基于YOLOv4改进算法的智能冰柜商品数量检测方法。该方法优化Backbone阶段CSP Darknet53中的卷积层和CSP模块,剔除Neck阶段8倍降采样,解决了YOLOv4算法模型体积较大、识别速度较慢的问题。通过IR相机获得激光散斑下红外图像,并运算得到深度图,进而与彩色图像配准得到商品深度信息,最终计算出商品剩余数量。该改进算法与YOLOv4、YOLOv3算法进行实验比较,结果表明改进后的YOLOv4模型mAP可达97.02%,模型大小仅为13.8 MB,相较于YOLOv4原有算法检测速度提升了50%。该方法可为商品库存远程管理提供一种高效的技术手段。

基于改进YOLOV4-tiny的电力设备红外识别研究

红外检测技术因其具有无需直接接触、带电状态进行检测、检测快速等优点,广泛应用于电力设备过热故障诊断领域。但是,红外图像质量不佳和电力设备的复杂分布等问题,对电力设备故障红外检测过程中的电力设备种类检测精度带来不利影响。为了实现电力设备种类识别的快速准确检测,在YOLOV4-tiny目标检测算法的基础上,提出了适用于电力设备过热故障诊断过程设备种类识别的YOLOV4-tiny目标检测模型。通过旋转矩形框机制替换水平矩形框机制、改进激活函数和采用PAN+FPN加强特征提取网络的方式,来改进原检测模型,使其在检测时更精准更快速。通过多次实验验证,优化后的模型相较于YOLOV4、YOLOV4-tiny两种模型来说,检测速度没有明显提升,但其检测精度提升了1.89%,这为电力设备过热故障红外诊断过程中的设备种类识别研究带来了新的思路。

基于改进YOLOv4的铝材表面缺陷检测方法

针对铝材表面缺陷检测精度不高,容易漏检的问题,提出基于改进YOLOv4的缺陷检测方法。在CSPResblock模块中引入注意力机制SE模块,赋予各个通道相应的权重,加强网络对于重要信息的训练,提升网络的特征提取能力;改进SPP模块,使用不同宽高比的池化核,有利于保留更多的短边信息,提高网络对大宽高比缺陷的检测能力;对PANet结构进行改进,在对应特征层级上拼接输入信息,主要融合主干网络的三层输出,获得更多较浅的特征信息,提升对小目标的检测能力;实验结果表明,改进后的YOLOv4算法在铝材表面缺陷数据集上的精度(mAP)达79.27%,优于其他常见目标检测算法。

基于YOLOv5_4layers的PCB小目标缺陷识别方法

针对PCB表面缺陷分辨率低、小目标性以及多样性等问题,提出了一种基于YOLOv5_4layers的PCB小目标缺陷识别方法。该方法在YOLOv5架构的基础上,通过新增采样层的方式添加小目标检测层,优化特征金字塔模型,提升小目标特征提取性能,实现小目标缺陷识别。在调整合适的锚框规格后,改进后的模型在输入640像素×640像素图像时,相较原模型识别精确率提升了7.5%。在输入736像素×736像素图像时,识别精确率提升了1.3%,有效地提升了对PCB小目标缺陷的识别能力,对提高PCB制造过程的质量控制和产品可靠性具有实际意义。

YOLOv4-Tiny的改进轻量级目标检测算法

目标检测是深度学习的重要分支领域,大量的边缘设备需要轻量级的目标检测算法,但现有的轻量级的通用目标检测算法存在检测精度低、检测速度慢的问题。针对这一问题,提出了一种基于注意力机制的YOLOv4-Tiny的改进算法。调整了原有的YOLOv4-Tiny算法的主干网络的结构,引入了ECA注意力机制,使用空洞卷积改进了传统的SPP结构为DC-SPP结构,并提出了CSATT注意力机制,与特征融合网络PAN形成CSATT-PAN的颈部网络,提高了网络的特征融合能力。提出的YOLOv4-CSATT算法和原始YOLOv4-Tiny算法相比,在检测速度基本持平的情况下,对于信息的敏感程度以及分类的准确程度有了明显的提高,在VOC数据集上精度提高了12.3个百分点,在COCO数据集上高出了6.4个百分点。在VOC数据集上,相比Faster RCNN、SSD、Efficientdet-d1、YOLOv3-Tiny、YOLOv4-MobileNetv1、YOLOv4-MobileNetv2、PP-YOLO算法在精度上分别高出3.3、5.5、6.3、17.4、10.3、0.9和0.6个百分点,在召回率上分别高出2.8、7.1、4.2、18.0、12.2、2.1和4.0个百分点,FPS达到94。通过提出CSATT注意力机制提高了模型对于空间的通道信息的捕捉能力,并结合ECA注意力机制和特征融合金字塔算法,提高了模型的特征融合的能力以及目标检测精度。

基于YOLOv4改进特征融合及全局感知的目标检测算法

YOLOv4算法在检测速度和精度上达到了很好的平衡,但仍存在着定位框不准确、检测率低的问题,尤其是在检测目标较小、尺度变化大的情况下。针对以上问题,提出一种新的基于YOLOv4改进的目标检测算法。该算法采用改进的特征融合模块(path aggregation network combined with bi-directional feature pyramid network,P-Bifpn)代替PANet(path aggregation network),增加跨尺度连接的同时在输出端引入权重,增强重要特征的表现力,解决由多尺度变化而引起的精度下降。然后,采用新的全局注意力机制(global association network,GANet),在减少平均池化与计算量的同时增强Sigmoid函数输出,加强模型对目标上下文关系的学习,减少噪声干扰和全局信息的损失。试验采用RSOD、NWPU VHR-10数据集,平均检测精度分别提升了约5%和3%;泛化试验采用VOC2007+2012公共数据集,平均检测精度提升了约0.6%。试验结果表明改进的算法能够有效提高模型的检测能力。