YOLOv4-tiny模型在边缘计算平台的加速设计

近年来,随着目标检测算法的快速发展,其模型规模也越来越大,在嵌入式移动端中部署时往往存在着功耗和时延等限制。针对此问题,采用输入输出通道的并行组合策略、数据定点量化、多通道数据传输等硬件加速方法,设计了一种基于FPGA平台的目标检测加速器架构。以YOLOv4-tiny模型算法为例进行硬件加速设计实现,使用输入输出通道并行组合策略对加速器的输入输出模块进行优化,提高了带宽的利用率;采用双缓存结构对加速器的访存机制进行优化,提高了系统的传输效率,并对加速器的性能以及资源消耗情况进行评估、分析和验证。实验结果表明,在PYNQ-Z2平台上该架构的性能为10.96 GOPS,功耗为2.98 W。与已有研究中在FPGA平台部署目标检测算法的实验进行比较发现,本文所提出的加速器的加速效果更好。

改进YOLOv4-Tiny的面向售货柜损害行为人体检测

无人货柜的安全检测一直是零售领域的热点话题。针对现有人工监控无法及时且有效地捕捉到部分消费者对自助售货柜及其内部商品的损坏行为这一问题,提出了一种改进YOLOv4-Tiny的面向售货柜损害行为人体检测方法。将真实场景采集到的监控视频进行预处理,完成对数据集DMGE-Act的制作,解决场景图像数据源不足的问题。提出了基于YOLOv4-Tiny的改进模型——YOLOv4-TinyX,通过修改神经网络的激活函数进行平滑逼近,分别在主干特征提取网络的最大特征提取层后引入CBAM,在加强特征提取网络中的上采样操作层后引入CA两种不同的注意力机制模块,并且进行了数据不平衡的修正,有效提升了算法的特征提取与检测能力。通过对比实验分析,改进后的模型参数量仅增加2×10^(4)的同时,平均精度均值mAP提升了10.29个百分点,结果表明该算法保持轻量化且对损害行为的检测精度有显著提升。

基于改进YOLOv4-tiny的节肢动物目标检测模型

针对自然环境下节肢动物背景复杂、形态万千、遮挡目标和目标尺度多样等因素,导致模型检测效率不高、边界框定位不准确的情况,提出一种基于改进YOLOv4-tiny的节肢动物目标检测模型。首先,结合空间、通道卷积注意力机制(CBAM),抑制背景噪声;其次,引入可变形卷积(DCN)以及改进的加权双向特征金字塔,重塑卷积和特征融合方式进行多尺度预测;最后,在FPN网络中引出一层Feat@3,嵌入空间金字塔池化结构,有效提取节肢动物的各种显著特征,使模型泛化能力更强,将改进后的模型命名为YOLOv4-tiny-ATO。实验结果表明,该模型在大小仅为54.6 Mb的前提下,很好地平衡了检测速度和检测精度,检测精度为0.725,检测速度达到89.6帧·s-1,召回率为0.585,较改进前相比YOLOv4-tiny模型,检测精度提高0.426,模型在模型大小、检测速度上更适用于移动端部署,模型检测精度也能达到应用标准,满足对节肢动物的检测需求。

基于改进YOLOV4-tiny的电力设备红外识别研究

红外检测技术因其具有无需直接接触、带电状态进行检测、检测快速等优点,广泛应用于电力设备过热故障诊断领域。但是,红外图像质量不佳和电力设备的复杂分布等问题,对电力设备故障红外检测过程中的电力设备种类检测精度带来不利影响。为了实现电力设备种类识别的快速准确检测,在YOLOV4-tiny目标检测算法的基础上,提出了适用于电力设备过热故障诊断过程设备种类识别的YOLOV4-tiny目标检测模型。通过旋转矩形框机制替换水平矩形框机制、改进激活函数和采用PAN+FPN加强特征提取网络的方式,来改进原检测模型,使其在检测时更精准更快速。通过多次实验验证,优化后的模型相较于YOLOV4、YOLOV4-tiny两种模型来说,检测速度没有明显提升,但其检测精度提升了1.89%,这为电力设备过热故障红外诊断过程中的设备种类识别研究带来了新的思路。

YOLOv4-Tiny的改进轻量级目标检测算法

目标检测是深度学习的重要分支领域,大量的边缘设备需要轻量级的目标检测算法,但现有的轻量级的通用目标检测算法存在检测精度低、检测速度慢的问题。针对这一问题,提出了一种基于注意力机制的YOLOv4-Tiny的改进算法。调整了原有的YOLOv4-Tiny算法的主干网络的结构,引入了ECA注意力机制,使用空洞卷积改进了传统的SPP结构为DC-SPP结构,并提出了CSATT注意力机制,与特征融合网络PAN形成CSATT-PAN的颈部网络,提高了网络的特征融合能力。提出的YOLOv4-CSATT算法和原始YOLOv4-Tiny算法相比,在检测速度基本持平的情况下,对于信息的敏感程度以及分类的准确程度有了明显的提高,在VOC数据集上精度提高了12.3个百分点,在COCO数据集上高出了6.4个百分点。在VOC数据集上,相比Faster RCNN、SSD、Efficientdet-d1、YOLOv3-Tiny、YOLOv4-MobileNetv1、YOLOv4-MobileNetv2、PP-YOLO算法在精度上分别高出3.3、5.5、6.3、17.4、10.3、0.9和0.6个百分点,在召回率上分别高出2.8、7.1、4.2、18.0、12.2、2.1和4.0个百分点,FPS达到94。通过提出CSATT注意力机制提高了模型对于空间的通道信息的捕捉能力,并结合ECA注意力机制和特征融合金字塔算法,提高了模型的特征融合的能力以及目标检测精度。

基于YOLOv4-Tiny的硬件加速系统的设计与实现

随着神经网络算法的迅猛发展,将其部署在边缘设备上面临着功耗和计算时间的制约。针对YOLOv4-Tiny算法在资源受限的边缘端部署困难等问题,文章提出了一项软硬件协同优化策略。为了提升硬件资源使用率和推理效能,文章采用了输入输出通道与权重通道的双重缓冲机制,并在此基础上,结合双缓冲结构与强化的高度并行流水线设计,开发了一种基于ZynqFPGA硬件平台的目标检测加速系统。实验结果显示,该系统在ZynqKV260平台上的运行功耗仅为3.712W,单帧推理时间缩短至0.43s,与现有的FPGA硬件加速器平台相比,实现了更优的性能表现。

基于改进YOLOv4-Tiny的矿井电机车多目标实时检测

为解决煤矿巷道环境恶劣及人工疲劳驾驶电机车导致煤矿井下有轨电机车事故频发的问题,提出一种基于改进YOLOv4-Tiny算法的YOLOv4-Tiny-4S矿井电机车多目标实时检测方法。首先,为了提高网络模型对于小目标的检测能力,将传统YOLOv4-Tiny的两尺度预测增加至4尺度预测,并且在网络模型的颈部引入空间金字塔池化(spatial pyramid pooling,SPP)模块,以丰富特征融合信息,增大网络模型的感受野。其次,以煤矿巷道中的行人、电机车、信号灯及碎石作为检测目标,创建矿井电机车多目标检测数据集,并分别采用K-means和K-means++聚类分析算法对数据集重新聚类;对比分析结果表明,K-means++算法具有更好的聚类效果。最后,通过对传统YOLOv4-Tiny算法的消融实验,进一步展示了不同改进措施对网络模型检测性能的影响;并在电机车运行的煤矿巷道场景中,对比分析了YOLOv4-Tiny-4S算法与其他几种算法的检测性能。实验结果表明:YOLOv4-Tiny-4S算法能够准确检测并识别出图像中的各类目标,其平均精度均值(mean average precision,mAP)为95.35%,对小目标“碎石”的平均精度(average precision,AP)为86.69%,相比传统YOLOv4-Tiny算法分别提高了12.38%和41.66%;改进后算法的平均检测速度达58.7帧/s(frames per second,FPS),模型内存仅为26.3 Mb,YOLOv4-Tiny-4S算法的检测性能优于其他算法。本文提出的基于YOLOv4-Tiny-4S矿井电机车多目标实时检测方法可为实现矿井电机车的无人驾驶提供技术支撑。

基于改进YOLOv4-Tiny的交通车辆实时目标检测

针对传统交通车辆实时检测技术在检测速度和准确性等方面存在的问题,提出了改进型YOLOv4-Tiny交通车辆图像实时检测模型。改进该模型的CSPResNet和空间金字塔池化(Spatial Pyramid Pooling,SPP),减少模型的计算量;改进特征金字塔网络(Feature Pyramid Network,FPN)及使用池化特征增强方法,增加少量计算量,获取模型的多尺度特征图以提升精度;引入注意力机制,增强模型对通道和空间特征的关注。实验结果表明,改进的YOLOv4-Tiny算法相比原YOLOv4-Tiny算法,模型平均精度均值(mean Average Precision,mAP)提升了4.67%,检测速度提升了2.5帧/秒,模型大小减少了52.74%,能够满足交通车辆实时检测对精度和实时性的要求。

基于YOLOv4-tiny的安全帽检测算法研究

为了可以有效监管施工人员佩戴安全帽的情况,使用YOLOv4-tiny目标检测算法进行佩戴安全帽检测。YOLOv4-tiny模型在维持精确度的同时,计算量更少,检测速度更快,更适用于实时的安全帽佩戴检测。但是YOLOv4-tiny在复杂的工作场景中容易出现错检或漏检情况。为解决这一问题,在原模型的基础上添加CBAM、SE、ECA、CA注意力机制,将几种不同的注意力机制进行比较,解决模型检测效果差的问题,使用改进的YOLOv4-tiny算法可以更好地完成安全帽检测任务。

基于改进yolov4-tiny的夜间车牌检测算法

针对夜间车牌检测问题,选用yolov4-tiny作为主干网络,基于Retinex理论的SSR算法改进,提出一种夜间车牌检测算法。该算法是基于Retinex理论的SSR算法的改进,通过相应的变换将正常光照下的图像转换为不同光照程度下的夜间环境图像,由此产生了更多的夜间环境的数据集,提高数据集的多样性,使训练模型获得更高的准确率和召回率,并能有更高的鲁棒性,从而提高夜间车牌检测的效果。选用Yolov4-tiny网络,使用DSSR算法作为数据增强策略进行训练实验的最终结果显示,使用DSSR算法的模型map比未使用的提高1.18%。结合训练过程的loss来看,该算法起到了数据增强的预期效果,扩充了数据集,提高夜间车牌检测的精度,提高了夜间车牌检测效果。

基于YOLOv4-tiny改进的交通标志识别算法

针对交通标志目标识别精度较低、速度慢并且模型参数量过大的问题,论文提出一种改进YOLOv4-tiny识别算法,在特征提取阶段引入深度可分离卷积轻量化主干网络并降低模型的参数量和计算量。在特征融合阶段使用递归特征金字塔(RFP)进行多尺度特征融合。在TT100K数据集上验证改进算法的平均精度均值达到88.5%,相比YOLOv4-tiny提升4.6%,模型大小仅为17MB是YOLOv4-tiny的56%,改进算法降低了模型大小和计算量并提升检测精度和速度。

基于轻量化模型YOLOv4-tiny的目标检测改进

针对实际场景中需要高速检测但硬件设备的处理器性能较弱,不能得到应有的检测效果的问题,本文以YOLOv4-tiny作为框架,提出一种轻量化模型的方法。首先构建空间金字塔空洞卷积(Spatial-pyramid-dilation, SPD)模块,提取更多目标特征;其次减少跨级部分(Cross-Stage-Partial,CSP)模块的第二分支的一个Concate,增加1×1卷积,降低网络的计算复杂度;最后将压缩激活(Squeeze-and-excitation,SE)模块置于CSP模块之前,提升检测性能,通过轻量化特征增强网络能够改善对小目标检测效果。实验结果表明,改进后的模型相较于原YOLOv4-tiny,平均精确率提升了6.3%,平均查全率提升了3.9%,实现了YOLOv4-tiny的轻量化改进。改进后模型轻量化程度较大,能够实现高速检测,适宜在性能较弱的移动设备上部署。

基于网络瘦身算法的YOLOv4-tiny的甘蔗茎节识别

为提高智能甘蔗收获的准确性,降低算法对部署的高算力要求,利用轻量级目标检测算法YOLOv4-tiny相对YOLOv4算法更简化的网络结构、更高的推理速度等优点,提出基于MobileNet和网络瘦身的两种YOLOv4-ting识别算法方案,并比较二者的精度和模型复杂度。其中,基于网络瘦身算法的YOLOv4-tiny在精度较瘦身前(94.7%)下降0.6%的情况下,模型复杂度下降为原来的1/3,即瘦身后的FLOPs和Params分别为1.1 G和1 789 658。而以MobileNet为Backbone的YOLOv4-tiny在精度下降1.92%的情况下,它的FLOPs和Params为1.29 G、2 600 068,其在精度和模型复杂度上的表现都不如瘦身后的YOLOv4-tiny模型。结果表明:基于网络瘦身算法的YOLOv4-tiny甘蔗茎节识别模型可有效降低模型复杂度,其计算量对嵌入式设备和移动式设备友好。该研究可为智能甘蔗收割机构的开发提供技术参考。

基于改进YOLOv4-Tiny轻量化校内行人目标检测算法

深度学习常用于行人检测,为了在嵌入式设备上应用复杂的传统卷积神经网络,网络的轻量化是必然趋势,但难以兼顾速度和精度。为解决这个问题,设计了一种基于改进YOLOv4-Tiny的轻量化校内行人目标检测算法。提出了一种多尺度空洞卷积模块的改进Ghost卷积特征提取模块,同时普通卷积用深度可分离卷积代替,降低了模型复杂度,增加特征提取的多样性;构建了一种空洞深度可分离卷积的改进空间金字塔池化结构,增强上下文特征的融合,提高检测精度,减少网络参数;再引入Soft-NMS取代传统非极大值抑制,降低漏检率。实验结果表明,该算法在多个数据集和硬件平台上,其具有精度高、速度快、模型参数少和体积少等特点,可以应用于嵌入式设备。

改进YOLOv4-tiny的疫情协同口罩佩戴检测方法

口罩的佩戴对于疫情防控起着极其重要的作用,针对大规模人群下口罩佩戴检测实时性欠佳、难以部署的问题,提出了一种改进YOLOv4-tiny的疫情协同口罩佩戴检测方法。该算法以YOLOv4-tiny为基础,用两个Resblock-D模块替代CSP模块,降低特征提取网络复杂度,提升检测速度;引入SPP,增加了网络的感受野,使网络满足任意尺寸的影像输入,并增强算法的鲁棒性;引入两层CA注意力机制,提高算法的利用率以保证检测精确度。通过实验检测结果表明,相较于原始YOLOv4-tiny,所提网络mAP提升了0.5个百分点,达到94.0%,检测速度提升了3.96 FPS。在保证检测速度有少量提升的基础上有效提高了检测速度,综合性能得到提升。

改进YOLOv4-Tiny的SAR图像目标快速检测方法

如今面向合成孔径雷达(synthetic aperture radar,SAR)图像的目标检测技术已得到广泛的研究与应用,并通过深度学习的方法可有效应用于复杂背景特征下的舰船检测,检测精度和速度也具有一定的效果。为提高在SAR舰船目标场景中的检测速度和精度,提出了一种可用于SAR舰船图像的单类目标快速检测方法,主要通过应用深度可分离卷积修改YOLOv4-Tiny网络,并在此基础上添加经改进的通道和空间注意力机制来提升精度。以输入图像尺寸为608×608为基准,相比于YOLOv4-Tiny模型,实验结果表明,该方法的检测精度可达93.91%,检测速度可达42.8 frame/s,提高了11.7 frame/s,模型权重仅有2.17 MB大小,约为YOLOv4-Tiny的1/10。模型利于硬件上板部署,满足SAR图像舰船目标的快速检测场景需求。

改进型YOLOv4-tiny的轻量级目标检测算法

为解决部署在嵌入式设备上的目标检测中特征提取速度较慢、检测实时性不足和算法移植性较差的问题,以YOLOv4-tiny为基准网络,提出一种基于CSPRDWConv(cross stage partial residual depthwise convolution)模块的轻量级网络YOLOv4-tiny-CSPRDWConv,并使用改进的Mosaic数据增强来提升检测模型精度。CSPRDWConv模块中适当缩减算力规模,使得整个模块在保持精度的同时大幅提升推理速度;改进的Mosaic数据增强方法,节省数据增强进程的时间,充分利用每个图像块,并且过滤掉物体过小的目标,使得模型更易于训练。在此基础之上,主干网络的卷积层全部选用小卷积核,只在最后一次压缩特征图时使用5×5的深度可分离卷积,以确保模型低延迟和高准确度的特性;在Neck中引入弱SPP模块,利用局部特征和全局特征来提高目标检测的精度;通过NEON指令对训练后的检测模型进行优化,将卷积层与BN层融合,加快模型的推理进程。改进的YOLOv4-tiny算法在1080Ti的硬件上达到1 308 FPS的实时检测速度,在RK3288开发板上的推理速度约为8 FPS,检测速度约为YOLOv4-tiny基准网络的4倍;mAP达到22.31%,相比于基准网络提升0.61个百分点。实验结果表明,改进的YOLOv4-tiny算法在嵌入式设备上的检测效果更为流畅和高效。

基于改进YOLOv4-Tiny的自然环境下 油茶果识别方法

针对自然环境下油茶果目标因被枝叶遮挡、重叠、果实颜色与叶片颜色相近等因素出现错检和漏检问题,提出一种基于改进YOLOv4-Tiny的自然环境下油茶果识别方法。在骨干网络中引入大尺度输出特征层和金字塔池化模型,以克服被遮挡或重叠油茶果因网络加深时模型的表征能力不足所带来的网络性能损失;使用K-means算法聚类出适合所选数据集的先验框,提高模型检测效果。试验结果表明:改进后YOLOv4-Tiny算法在1901幅测试集上的召回率为86.15%,mAP为94.19%,F 1值为0.9,比改进前分别提高1.2、0.34和2个百分点;改进后该算法单幅图片的平均检测时间为0.025 s,检测速度为40.45 f/s,比改进前检测时间减少7.41%,检测速度提高3.87%。改进后算法的识别准确率比自编码机和凸壳理论分别提高4.36和1.55个百分点,Faster-RCNN、自编码机和凸壳理论的单幅图片检测时间分别是改进后算法的8.4、66.4和19.64倍。该算法可对复杂自然环境下油茶果目标进行识别,满足实时采摘的要求。

一种改进YOLOv4-tiny的带钢表面缺陷实时检测方法

带钢表面缺陷检测是生产过程智能检测的重要任务。针对目前带钢表面缺陷检测算法效率低、实时性差的问题,本文提出了基于卷积神经网络的轻量级目标检测器。该方法以YOLOv4-tiny模型为框架,针对带钢表面缺陷检测任务的特殊性,结合了多尺度检测与空间注意力机制的优化策略,在保证检测效率的同时提高了轻量级目标检测器的精度。实验证明,所提出的改进的YOLOv4-tiny模型能够精确地检测带钢表面缺陷,平均均值精度mAP(mean Average precision)为73.29%,并且每秒帧数FPS(Frames per second)达到163,满足实际工业落地的实时性要求。

基于YOLOv4-tiny和Hourglass的指针式仪表读数识别

为了降低电力巡检机器人识别变电站指针式仪表的误检率,提高仪表读数识别的精度,设计了一种基于深度学习的指针式仪表检测方法。通过在YOLOv4-tiny网络结构基础上添加残差模块来提高模型的鲁棒性,并对Hourglass网络结构改进,达到精准识别指针式仪表读数的目的。为了验证所提出方法的有效性,以变电站现场仪表图像数据对方法进行测试,并将检测结果与其他方法进行对比。实验结果表明,仪表定位漏检率仅1.25%,指针定位精度在1.125%以内,整体检测时间小于0.5 s。相较于常用的Hough直线检测与ORB结合或基于U-net模型的方法,读数识别的平均误差分别降低了70.8%和58.8%,为变电站指针式仪表的读数识别提供新的思路。