融合GhostNet的YOLOv4轻量化网络设计与实现

由于存储资源和功耗等限制,在嵌入式设备上部署基于深度学习的目标检测算法存在困难,且效果不佳.基于YOLOv4算法,提出了一种改进的YOLOv4-Light轻量化网络模型,采用GhostNet网络结构替换CSPDarknet53作为主干提取网络,引入CBAM注意力机制关注通道和空间两个维度的特征信息,并利用感知量化方法对权重进行INT8量化处理,在保证精度的情况下降低网络模型规模和参数量.在PC端和NVIDIA Jetson Xavier NX上选用VisDrone无人机数据集分别对网络模型进行测试,结果表明YOLOv4-GhostNet-CBAM模型的尺寸是160M,比YOLOv4降低了34.43%;检测速率最高可达到34.6FPS,比YOLOv4提高了56.6%.YOLO-Light模型的尺寸是40.2M,比YOLOv4降低了83.5%;检测速率最高可达到78.6FPS,为YOLOv4的3.6倍,且交并比为0.5时的平均精度均值(mAP50)与YOLOv4相比仅下降了3%.YOLO-Light模型相较于原模型优势明显,能够在低功耗的嵌入式设备上完成实时目标检测.

基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod,TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling,FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电饭煲内胆缺陷数据集Enaiter的测试集上对所提算法进行了测试,测得的map@50结果分别为0.80,0.66和0.57,相比大部分主流的用于缺陷检测的目标检测算法均有提升,且模型参数量仅为原YOLOv4的一半,速度与YOLOv4接近,可满足实际使用需求。

基于改进YOLOv4轻量化网络的机械手状态检测算法

YOLOv4网络结构复杂、参数较多、模型较大,因此极大地限制了其在工业上的应用.针对这一问题,提出一种改进YOLOv4的轻量化网络.首先,采用GhostNet代替YOLOv4主干网络,简化网络结构,降低模型参数量;其次,为了弥补网络简化后带来的精度损失,在其余两个输出特征层后加入Spatial Pyramid Pooling结构,加强特征提取;再次,加入Squeeze and Excitation Network通道注意力机制,增强网络重要信息提取能力;最后,将损失函数CIOU替换为SIOU,加快模型收敛,进而产生更好的模型.实验结果表明,在满足工业要求的前提下,改进后的轻量化网络相比于YOLOv4网络,在牺牲较小检测精度的情况下,模型参数量和计算量大幅下降,同时检测速度得到了提升,从而证明了改进算法在光纤插拔任务中机械手夹持状态识别检测的有效性.

基于改进YOLOv4-tiny的果园复杂环境下桃果实实时识别

为实现果园复杂环境下的桃果实实时识别,提出一种基于YOLOv4-tiny的桃果实实时识别方法 YOLOv4-tinyPeach。通过在主干网络中引入卷积注意力模块CBAM,优化其通道维度和空间维度的特征信息;在颈部网络中添加大尺度浅层特征层,提高对小目标识别精度;采用双向特征金字塔网络BiFPN对不同尺度特征信息进行融合。通过训练和比较,YOLOv4-tiny-Peach模型在测试集下的平均精度AP为87.88%,准确率P为91.81%,召回率R为73.84%,F1值为81.85%,相比于改进前,AP提升5.46%,P提升2.29%,R提升4.09%,F1提升3.44%。为检验改进模型在果园复杂环境下的适应性,在不同数目、不同成熟期和遮挡的情况下对果实图像进行识别,并与原模型识别效果进行对比,结果表明改进模型在三种情况下的识别精度均高于原模型,尤其在大视场和未熟期场景下模型改进效果显著。YOLOv4-tiny-Peach模型占用内存为27.4 MB,识别速度为49.76 fps,适用于农业嵌入式设备。为果园复杂环境下的桃果实自动采摘提供实时精准的目标识别指导。

基于协调注意力机制的轻量级YOLOv4零件检测

针对零件自动检测任务在复杂工况下,如零件堆叠粘连、有杂物干扰等,存在实时性差、硬件资源占用大等问题,提出一种基于轻量级YOLOv4网络的零件检测方法。采用MobileNeXt代替CSPDarkNet53作为主干特征提取网络(backbone),并在每个卷积模块中添加协调注意力机制,用于增强特征层的语义表达能力;提出一种Fused-Sandglass模块插入到浅层的backbone中,提高网络的推理速度;网络训练方面引入渐进式训练方法和focal loss损失函数,提升训练速度,并且有效缓解正负样本失衡的问题。实验结果表明,该方法在15种零件的检测任务中能够保持和YOLOv4网络相近的准确率,但参数量大小仅为其20%,推理速度达到了43.7 fps,能够满足实际生产的需求。

基于改进YOLOv4算法的遥感图像飞机目标检测

针对在遥感图像上对飞机目标检测的精度低问题,论文通过对PANet特征融合网络结构的加深使得YOLOv4算法对小目标的检测更加敏感,进而提高算法的平均检测精度;另外,利用K-means++算法产生了能够自适应与数据集的检测先验框以减少YOLOv4检测算法对边界框回归损失计算过程中的冗余。在RSOD(Remote Sensing Object Detection)数据集上的对比实验表明,综合改进后的YOLOv4算法AP值达到了80.25%。特别地,改进后的YOLOv4算法对小目标检测的置信度得分较高。

YOLOv4-tiny模型在边缘计算平台的加速设计

近年来,随着目标检测算法的快速发展,其模型规模也越来越大,在嵌入式移动端中部署时往往存在着功耗和时延等限制。针对此问题,采用输入输出通道的并行组合策略、数据定点量化、多通道数据传输等硬件加速方法,设计了一种基于FPGA平台的目标检测加速器架构。以YOLOv4-tiny模型算法为例进行硬件加速设计实现,使用输入输出通道并行组合策略对加速器的输入输出模块进行优化,提高了带宽的利用率;采用双缓存结构对加速器的访存机制进行优化,提高了系统的传输效率,并对加速器的性能以及资源消耗情况进行评估、分析和验证。实验结果表明,在PYNQ-Z2平台上该架构的性能为10.96 GOPS,功耗为2.98 W。与已有研究中在FPGA平台部署目标检测算法的实验进行比较发现,本文所提出的加速器的加速效果更好。

基于改进YOLOv4的混凝土裂缝检测方法

为了解决深度学习目标检测模型在混凝土裂缝应用上检测精度低、检测速度慢等问题,提出一种基于改进YOLOv4的混凝土裂缝检测方法。首先将YOLOv4的主干特征提取网络替换为轻量级网络Mobilenetv1,并且将YOLOv4加强特征提取网络中的普通标准卷积修改为深度可分离卷积;其次在PANet模块部分添加轻量级注意力模块CBAM(Convolutional Block Attention Module),在控制参数量的基础上提高裂缝目标检测的精度;最后用模拟人类视觉的RFB-s模块代替YOLOv4中的空间金字塔池化模块(Spatial Pyramid Pooling, SPP),扩大感受野,提高检测精度。实验结果表明,与传统YOLOv4相比,本模型的mAP增加三个百分点,参数量减少至14 M,检测速度可达42帧每秒。

YOLOv4-Tiny的改进轻量级目标检测算法

目标检测是深度学习的重要分支领域,大量的边缘设备需要轻量级的目标检测算法,但现有的轻量级的通用目标检测算法存在检测精度低、检测速度慢的问题。针对这一问题,提出了一种基于注意力机制的YOLOv4-Tiny的改进算法。调整了原有的YOLOv4-Tiny算法的主干网络的结构,引入了ECA注意力机制,使用空洞卷积改进了传统的SPP结构为DC-SPP结构,并提出了CSATT注意力机制,与特征融合网络PAN形成CSATT-PAN的颈部网络,提高了网络的特征融合能力。提出的YOLOv4-CSATT算法和原始YOLOv4-Tiny算法相比,在检测速度基本持平的情况下,对于信息的敏感程度以及分类的准确程度有了明显的提高,在VOC数据集上精度提高了12.3个百分点,在COCO数据集上高出了6.4个百分点。在VOC数据集上,相比Faster RCNN、SSD、Efficientdet-d1、YOLOv3-Tiny、YOLOv4-MobileNetv1、YOLOv4-MobileNetv2、PP-YOLO算法在精度上分别高出3.3、5.5、6.3、17.4、10.3、0.9和0.6个百分点,在召回率上分别高出2.8、7.1、4.2、18.0、12.2、2.1和4.0个百分点,FPS达到94。通过提出CSATT注意力机制提高了模型对于空间的通道信息的捕捉能力,并结合ECA注意力机制和特征融合金字塔算法,提高了模型的特征融合的能力以及目标检测精度。

改进YOLOv4-Tiny的面向售货柜损害行为人体检测

无人货柜的安全检测一直是零售领域的热点话题。针对现有人工监控无法及时且有效地捕捉到部分消费者对自助售货柜及其内部商品的损坏行为这一问题,提出了一种改进YOLOv4-Tiny的面向售货柜损害行为人体检测方法。将真实场景采集到的监控视频进行预处理,完成对数据集DMGE-Act的制作,解决场景图像数据源不足的问题。提出了基于YOLOv4-Tiny的改进模型——YOLOv4-TinyX,通过修改神经网络的激活函数进行平滑逼近,分别在主干特征提取网络的最大特征提取层后引入CBAM,在加强特征提取网络中的上采样操作层后引入CA两种不同的注意力机制模块,并且进行了数据不平衡的修正,有效提升了算法的特征提取与检测能力。通过对比实验分析,改进后的模型参数量仅增加2×10^(4)的同时,平均精度均值mAP提升了10.29个百分点,结果表明该算法保持轻量化且对损害行为的检测精度有显著提升。

基于改进YOLOv4的低慢小无人机实时探测算法

针对低慢小无人机探测任务中精度不高、在嵌入式平台上部署实时性能差的问题,提出了一种基于改进YOLOv4的小型无人机目标检测算法。通过增加浅层特征图、改进锚框、增强小目标,提高网络对小目标的检测性能,通过稀疏训练和模型修剪,大大缩短了模型运行时间。在1080Ti上平均精度(mAP)达到85.8%,帧率(FPS)达75 frame/s,实现了网络轻量化。该模型部署在Xavier边缘计算平台上,可实现60 frame/s的无人机目标检测速度。实验结果表明:与YOLOv4和YOLOv4-tiny相比,该算法实现了运行速度和检测精度的平衡,能够有效解决嵌入式平台上的无人机目标检测问题。

基于改进YOLOv4的澳洲坚果视觉监测方法

针对大规模澳洲坚果种植园管理困难的问题,提出一种基于改进YOLOv4的林地澳洲坚果生长监测方法。在澳洲坚果种植基地中进行图像采集,记录3种常见的澳洲坚果存在形式,制作VOC数据集并用于模型训练。对样本数量较少的类别进行数据增强,使训练样本均衡分布。在原始YOLOv4方法的基础上进行改进,用DenseNet121网络替换原来的主干网络,并使用Focalloss优化检测模型的分类损失函数,有效提升检测模型精度,同时缓解类别间检测精度不平衡问题。试验结果表明,与YOLOv4、YOLOv3方法相比,所提改进YOLOv4方法对每种澳洲坚果形式的平均精度(AP)均为最高,检测模型的平均精度均值(mAP)达到93.33%,检测速度达到28.7 FPS,实现对林地澳洲坚果落果、病害等生长信息的实时、高效获取,为精确监测澳洲坚果生长状态提供依据。

基于改进YOLOv4-tiny的节肢动物目标检测模型

针对自然环境下节肢动物背景复杂、形态万千、遮挡目标和目标尺度多样等因素,导致模型检测效率不高、边界框定位不准确的情况,提出一种基于改进YOLOv4-tiny的节肢动物目标检测模型。首先,结合空间、通道卷积注意力机制(CBAM),抑制背景噪声;其次,引入可变形卷积(DCN)以及改进的加权双向特征金字塔,重塑卷积和特征融合方式进行多尺度预测;最后,在FPN网络中引出一层Feat@3,嵌入空间金字塔池化结构,有效提取节肢动物的各种显著特征,使模型泛化能力更强,将改进后的模型命名为YOLOv4-tiny-ATO。实验结果表明,该模型在大小仅为54.6 Mb的前提下,很好地平衡了检测速度和检测精度,检测精度为0.725,检测速度达到89.6帧·s-1,召回率为0.585,较改进前相比YOLOv4-tiny模型,检测精度提高0.426,模型在模型大小、检测速度上更适用于移动端部署,模型检测精度也能达到应用标准,满足对节肢动物的检测需求。

基于改进YOLOv4的风力机叶片损伤检测方法

针对深度卷积神经网络模型因复杂度高导致嵌入式设备难以实现在线检测的问题,提出改进的YOLOv4的风力机叶片损伤检测方法。首先使用MobileNetv3网络代替YOLOv4中的CSPdarknet53主干特征提取网络进行特征提取,并将相同shape的特征层进行加强特征提取;其次在加强特征提取网络上添加注意力机制ECA,并对YOLOv4的边界框损失函数与分类损失函数进行优化;最后,将改进前后的算法与其他检测算法进行比较。结果表明:改进的YOLOv4算法的检测速度可达单张检测时间为0.018 s,检测准确率达到95.7%,通过对YOLOv4网络进行改进,在保证检测准确的前提下,轻量化的模型可满足嵌入式设备检测风力机叶片损伤的需求。

基于YOLOv4改进算法的坦克装甲车辆目标检测

在信息化作战的大背景下,为实现无人模式智能收集前方战场的坦克目标信息,研究提出了一种基于YOLOv4地面坦克目标检测的改进算法。基于原YOLOv4目标检测算法,使用多特征层拼接模块增强特征信息的传递与流动;使用全局信息获取模块更好地对全局特征信息进行捕获;使用多尺度信息融合模块扩大特征融合的尺度;添加解耦检测头模块将目标分类和位置回归任务进行解耦操作使得网络学习更加彻底。实验结果显示,与YOLOv4算法相比,改进后的YOLOv4_Modify算法提高了识别精度,其中,Recall值提升了10.2个百分点,mAP值提升了4.3个百分点。实验结果表明,改进后的YOLOv4_Modify算法能够精确地识别出复杂环境下不同尺度的坦克目标,改善了原有检测算法中对较小坦克目标的漏检问题,为信息化作战提供了视觉技术支持。

基于改进YOLOv4的前方车辆检测方法

针对现有深度学习算法对车辆检测精度不高、实时性不足以及对小目标检测能力较弱的问题,提出一种基于改进YOLOv4的前方车辆检测方法。针对小目标漏检率高的问题,使用密集连接块替代CSPResNet中的残差块,重复利用特征信息,提高小目标的检测能力;针对检测精度和实时性要求,将密集连接块结构修改为卷积、批归一化和激活操作,对结构中的卷积层和批归一化层进行融合并使用Mish激活函数,提高模型的检测精度和速度。实验结果表明,改进YOLOv4算法较原有算法参数量减少23%,检测速度和精度分别提升3.5fps和2.73%,同时提高了对小目标的检测能力。

基于改进YOLOv4-Tiny算法的机械零件识别

为实现机械零件的精准快速识别,文中提出了一种基于改进的YOLOv4-Tiny算法的机械零件识别方法。该方法融合了注意力机制和K-means++聚类算法,采用CSPDarknet53-Tiny网络作为主干网络,并将卷积注意力机制模块(Convolution Block Attention Module, CBAM;Global Attention Mechanism, GAM)加在YOLOv4-Tiny主干网络与特征金字塔的连接处及其上采样处,在不影响主干网络的条件下,对每个通道的特征信息重新压缩并提取,过滤掉冗余特征信息,保留重要特征信息,并重新分配权重;再用K-means++聚类算法得到一组与机械零件图像数据集相匹配的先验框参数。试验结果表明,与传统的YOLOv4-Tiny算法相比,改进后的YOLOv4-Tiny算法在保证实时性的前提下,平均召回率和平均准确率分别达到99.43%和99.41%,可以准确检测并定位机械零件图像的位置。

基于YOLOv4的水下海参检测与计数算法

针对智慧水产养殖中海参自动采捕和高效计量应用需求,提出一种基于YOLOv4的水下海参检测与计数算法。该算法利用暗通道先验算法对数据集进行预处理,增强图像数据的可检测性;采用迁移学习方法训练YOLOv4网络,并用Swish函数替换骨干网络中的激活函数,提升自建数据集的海参检测性能;提出基于相近帧目标质心定位偏移的降重计数方法,优化目标计数结果。试验结果表明:该检测算法识别水下海参目标的平均检测精度的平均值mAP达91.0%,分别比原始YOLOv4、YOLOv3、Faster R-CNN和SDD高4.5%、6.9%、5.0%、29.9%;降重计数算法获得海参数量与人工计数结果间的均方根误差RMSE为29.8、平均计数精度ACP为95.8%、决定系数R2为0.998。

基于改进YOLOv4的多目标车辆检测算法

针对现有检测方法存在小目标车辆漏检率高以及夜间车辆误检率高的问题,提出一种基于改进YOLOv4的多目标检测算法。引入深度可分离卷积代替标准卷积,减少模型的参数量与计算量。在保留YOLOv4输出层的同时,增加一层网格为104×104的输出层,提升算法对小目标车辆的检测性能。在Head部分引入Inceptionv3结构,采用K-means++聚类算法重新确定锚框,进一步提高算法对小目标车辆的检测性能。实验结果表明,算法相比改进前,在不降低检测速度的同时,其mAP增加2.44%,模型大小减少1/3,具有良好的鲁棒性。

基于改进YoloV4的电网变压器油液渗漏检测方法

及时发现电网变压器油液渗漏问题对于电网的安全与稳定运行尤为重要;传统电网变压器油液渗漏检测主要依赖于人工定期巡检,但人工巡检无法实现全天候监测,具有滞后性;当前主流目标检测模型应用于电网变压器油液渗漏检测时,存在检测速度较慢、准确率低和鲁棒性较差等问题,无法满足实际应用;为此提出一种改进YoloV4的变压器油液渗漏检测方法;首先,通过引入Mobile-ViT作为模型的骨干结构,利用卷积和Transformer结构有效提取目标的局部和全局信息特征,降低计算量;其次,提出多尺度特征融合层,旨在实现局部和全局信息的多尺度特征融合,增强上下文语义表达,用以更好地实现电网变压器油液渗漏检测;实验结果表明,该方法在电网变压器油液渗漏数据集上检测精度达到了95.3%,检测速度达到了50.6 fps;相较于原生YoloV4方法检测精度提高了2.6%,检测速度提升了2.6 fps;经实际应用,该方法部署在边缘设备上推理速度也达到了43 fps,满足了实际工程的需求。