改进YOLOv7-tiny的手语识别算法研究

在与听障人士进行交流时,常常会面临交流不便的困难,文中提出一种手语识别的改进模型来解决这个困难。该模型基于YOLOv7-tiny网络模型,并对其进行了多项改进,旨在提高模型的精度和速度。首先,通过对CBAM注意力机制的通道域进行改进,解决了因降维而造成的通道信息缺失问题,并将改进后的CBAM加入到YOLOv7-tiny的Neck层中,从而使模型更加精准地定位和识别到关键的目标;其次,将传统的CIoU边界框损失函数替换为SIoU边界框损失函数,以加速边界框回归的同时提高定位准确度;此外,为了减少计算量并加快检测速度,还将颈部层中的普通卷积模块替换为Ghost卷积模块。经过实验测试,改进后网络模型的平均精度均值(mAP)、精准率和召回率分别提升了5.31%、6.53%、2.73%,有效地提高了手语识别网络的检测精确度。

基于YOLO v5的农田杂草识别轻量化方法研究

针对已有杂草识别模型对复杂农田环境下多种目标杂草的识别率低、模型内存占用量大、参数多、识别速度慢等问题,提出了基于YOLO v5的轻量化杂草识别方法。利用带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法对部分图像数据进行预处理,提高边缘细节模糊的图像清晰度,降低图像中的阴影干扰。使用轻量级网络PP-LCNet重置了识别模型中的特征提取网络,减少模型参数量。采用Ghost卷积模块轻量化特征融合网络,进一步降低计算量。为了弥补轻量化造成的模型性能损耗,在特征融合网络末端添加基于标准化的注意力模块(Normalization-based attention module, NAM),增强模型对杂草和玉米幼苗的特征提取能力。此外,通过优化主干网络注意力机制的激活函数来提高模型的非线性拟合能力。在自建数据集上进行实验,实验结果显示,与当前主流目标检测算法YOLO v5s以及成熟的轻量化目标检测算法MobileNet v3-YOLO v5s、ShuffleNet v2-YOLO v5s比较,轻量化后杂草识别模型内存占用量为6.23 MB,分别缩小54.5%、12%和18%;平均精度均值(Mean average precision, mAP)为97.8%,分别提高1.3、5.1、4.4个百分点。单幅图像检测时间为118.1 ms,达到了轻量化要求。在保持较高模型识别精度的同时大幅降低了模型复杂度,可为采用资源有限的移动端设备进行农田杂草识别提供技术支持。

WGAN-GP结合CBAM-VGG16轻量化网络滚动轴承故障诊断

针对滚动轴承故障诊断中存在的故障数据不平衡且诊断效率低的问题,提出一种将改进的生成对抗网络(Wasserstein Generative Adversarial Network with Gradient Penalty,WGAN-GP)和轻量化卷积神经网络相结合的滚动轴承故障诊断方法。首先,利用连续小波变换(Continuous Wavelet Transform,CWT)生成二维时频图,并通过WGAN-GP进行数据增强;其次在视觉几何群网络(Visual Geometry Group Network-16,VGG16)的基础上,引入Ghost模块和全局平均池化(Global Average Pooling,GAP)对其进行轻量化改进;再次,利用卷积注意力模块(Convolutional Block Attention Module,CBAM)和带重启的余弦退火衰减法提高VGG16模型的性能,构建CBAM-VGG16轻量化卷积神经网络模型,将增强后的数据进行预处理后输入到模型中进行训练,建立故障诊断模型;最后采用西储大学轴承数据集进行模型验证和分析。实验结果表明:该方法证实了故障数据不足时进行故障诊断的可行性,缩短了模型的训练时间、诊断时间并缩减了模型的大小和参数量,提高了故障诊断的效率和准确率。

基于轻量化YOLOv5的交通标志检测

为了提高道路交通标志的检测速度,提出一种基于轻量化YOLOv5的改进模型。首先,使用Ghost卷积和深度分离卷积(DWConv)构建新的主干模块,减少计算量和参数量;引入加权特征融合网络(BiFPN)结构,增强特征融合能力;将CIoU损失函数替换为SIoU损失函数,关注真实锚框与预测的角度信息,提升检测精度。其次,对TT100K数据集进行优化,筛选出标签个数大于200的交通标志图片和标注信息共24类。最后,实验结果取得84%的准确率、81.2%的召回率和85.4%的所有类别平均精确率的平均值mAP@0.5,相比原始YOLOv5,参数量减少29.0%,计算量减少29.4%,mAP@0.5仅下降0.1百分点,检测帧率提升了34帧/s。使用改进后的模型进行检测,检测速度有了明显提升,基本达到了在保持检测精度的基础上压缩模型的目的。

基于YOLO v5的水稻害虫分类

针对水稻害虫识别过程中存在的检测难度大、模型精度低、计算量大等问题,以稻纵卷叶螟等14类水稻害虫为研究对象,改进了YOLO v5检测算法,引入高效通道注意力机制(efficient channel attention, ECA)与EIoU(efficient-IoU)损失函数,并结合Ghost卷积,提出了一种基于改进的YOLO v5水稻害虫识别方法:(1)通过引入ECA注意力机制实现对水稻害虫识别过程中重要信息的处理,采用跨通道信息交互,保证模型性能和降低复杂度;(2)引入EIoU损失函数代替CIoU(complete-IoU)损失函数,从而降低原有CIoU损失函数存在的回归精度问题;(3)利用Ghost卷积替换CBS模块及C3模块中的标准卷积,实现模型轻量化处理。结果表明,改进后的模型较原始YOLO v5模型精度略微提升,参数量减少,模型体积降低至7.38 MB,较原模型减少了46%,与YOLO v7、Faster-RCNN模型相比,mAP比YOLO v7高1.49百分点,比Faster-RCNN高12.89百分点,且本研究模型体积最小,检测速度满足实时性要求,使水稻害虫检测识别能够更加高效地完成,为水稻害虫检测提供了一种更优的方法,对于防治水稻害虫有重要意义。

基于改进YOLOv5的铝型材表面缺陷检测算法

针对工业生产中铝合金型材表面缺陷在实际检测中出现漏检和误检的情况,提出一种YOLOv5-Ghost-CBAM-BiFPN模型对铝型材缺陷进行更加精确的检测。首先在YOLOv5 Backbone网中引入了一个轻量级Ghost模块,在保证准确性的前提下显著提高了检测速度。其次,将卷积块注意机制(CBAM)模块添加到Backbone网络的卷积层,以增强特征提取,进一步提高检测精度。此外,考虑到铝型材缺陷尺寸差异,在Neck模块中使用了用于多尺度特征融合的双向特征金字塔网络(Bi-FPN)来聚合不同缺陷类型的特征。实验表明:优化后的模型mAP、精确率P、召回率R都有明显提高。

基于Ghost-SE-Res2Net的多模型融合语音唤醒词检测方法

语音唤醒词检测(WWD)是语音交互中的关键技术,选择合适大小的检测窗对WWD性能的影响很大。提出一种新的多模型融合方法,通过融合小检测窗和大检测窗的检测结果来提高WWD性能。多模型融合方法包含两个分类模型,分别使用小检测窗和大检测窗,均基于轻量化的挤压与激励残差网络(SE-Res2Net)模块,即GhostSE-Res2Net,SE-Res2Net结构的多尺度机制可显著提升WWD的能力。在Ghost-SE-Res2Net中,首先使用Ghost卷积替换SE-Res2Net中的普通卷积以降低模型参数量,然后使用注意力池化层替换SE-Res2Net中的全局平均池化层进一步提升WWD能力。在实际检测时融合连续3个小检测窗模型的检测结果的最大值和1个大检测窗模型的检测结果,来判断唤醒词是否被触发。在训练时引入困难样本挖掘算法,选择性地学习较难检测的唤醒词信息以提高分类模型的检测性能。在包含2个唤醒词的Mobvoi数据集上评估系统性能,实验结果表明,在每小时0.5次错误唤醒的情况下,该系统在2个唤醒词上的错误拒绝率分别为0.46%和0.43%,实现了与先进基线相似的性能,并且系统参数量比基线少31%。

基于Ghost-YOLOv5s的SAR图像舰船目标检测

基于星载合成孔径雷达(synthetic aperture radar,SAR)图像的舰船目标检测中,为了平衡模型大小与检测精度,提出了一种基于Ghost卷积的SAR图像舰船目标检测方法Ghost-YOLOv5s。在YOLOv5s的颈部引入Ghost卷积,以减少模型参数和压缩模型体积;将高效的通道注意力机制(efficient channel attention,ECA)融入到颈部的C3模块里,以突出重要特征,从而保持较高的检测性能;使用SIoU损失函数替换原来的CIoU损失函数,以减少预测框和真实框之间的偏差,提高检测算法精度。实验结果表明,在SSDD遥感数据集上,改进模型与YOLOv5s相比,模型参数量减少了6.28%,模型体积减小了6.21%,检测精度达到了98.21%,实现了模型大小与检测精度的平衡。

基于改进轻量化YOLO v5n的番茄叶片病害识别方法

针对现有番茄叶片病害识别存在背景复杂、识别准确率低、模型参数量大、计算量大以及难以部署至移动设备或嵌入式设备等问题,提出一种改进的轻量化YOLO v5n的番茄叶片病害识别方法。首先收集细菌性斑疹病、早疫病、晚疫病、叶霉病、斑枯病、褐斑病等6种常见番茄叶片病害图像以及番茄健康叶片图像,对图像进行镜像翻转、高斯模糊等数据增强方式增加样本多样性,提升模型识别和泛化能力。接着在YOLO v5n网络基础上,选择采用轻量化的C3Ghost模块替换C3模块以压缩卷积过程中的计算量、模型权重和大小,同时在颈部网络中融合轻量级卷积技术GSConv和VOV-GSCSP模块,在增强特征提取能力的同时降低模型参数量。最后引入PAGCP算法对改进后的模型进行全局通道剪枝压缩参数量并减少训练开销。试验结果表明,改进后的YOLO v5n平均精度均值达到99.0%,参数量减少66.67%,计算量降低了2.6 G,模型权重压缩了2.23 MB。本研究提出的番茄叶片病害识别方法在降低了模型大小、参数量、计算量的同时仍保持较高的识别精度,为移动设备上实现番茄叶片病害识别提供技术参考。

基于改进U-Net的轻量级眼底病变分割算法设计

精准的糖尿病视网膜病变的分割是实现视网膜病变自动诊断的前提条件和关键步骤,然而现有大部分的分割模型存在着参数量大、模型训练效果不理想、甚至是无法正常处理数据集等局限性。为此,在原U-Net网络中加入改进的Ghost卷积模块与多尺度特征融合模块,提出一种改进U-Net眼底病变分割图像的算法。该模型能以少量的参数量、较低的计算复杂度获得良好的分割结果。利用GhostModel替换原始卷积,设计出Ghost卷积与Ghost下采样卷积模块,在保证准确度的同时降低参数量;设计出一种轻量级的Half-UNet多尺度特征融合模块来获取多尺度信息,针对不同尺度病变目标,引入CBAM注意力机制以改善其适应性,从而更好的提取细小的病变信息。改进后的模型在e_optha与IDRiD两个公开数据集上的mIoU分别为61.42%、61.84%,F1-Score分别为70.59%、69.41%。模型参数量、FLOPs分别仅为5.48M、35.46GMac,较U-Net、Att-UNet等模型更加精简,分割精度更高。

基于改进YOLOv5的条烟识别研究

目的针对当下烟草物流中心条烟分拣机及人工分拣时会产生错烟等问题。从兼顾实时性、识别精度出发,基于YOLOv5s算法提出一种收敛速度更快、准确率更高的条烟识别模型。方法首先在YOLOv5s网络架构中融入CA注意力模块来更好地提取特征,提高模型获取目标位置的准确度;其次将原网络中的最近邻插值上采样算子改为轻量级通用上采样算子CARAFE,获得更大的感受野;然后在骨干网络中嵌入Ghost模块,对网络进行轻量化处理;最后在烟草物流中心搭建条烟图像采集系统,建立条烟图像数据集。结果相较于YOLOv5s,本文提出的优化算法计算量减少了45.8%,mAP@0.5值达到了99.3%,在条烟纠错系统上识别率约为99.9%。结论本文提出的优化算法能够高精度满足高速条烟分拣识别需求。

基于改进EfficientNetV2的苹果叶片病害识别模型

斑点落叶病、褐斑病、灰斑病、花叶病和锈病是常见的5种苹果树叶部病害,严重影响苹果产量。针对实际生产中叶片病害识别准确率不高以及现有模型参数量大难以迁移到移动设备的问题,本研究基于Ef-ficientNetV2-b0模型,经过改进后提出了轻量级的EGV2-CA网络。该网络在保留EfficientNetV2-b0主干网络的基础上,一是引入GhostNetV2网络中的核心Ghost Module,并选用original分支替换第一层卷积结构,可以进一步优化网络的计算效率,减少冗余计算,从而在提高模型速度和可移植性的同时保持较高的识别准确率;二是将EfficientNetV2-b0模型中Fused-MBConv模块的SE注意力机制替换为更高效的坐标注意力(CA)机制,通过将空间信息编码为坐标信息以更好地捕捉和表达空间上的细粒度特征。实验结果显示,相较于原始网络,EGV2-CA网络的识别精确率提高2.94个百分点,召回率提高2.53个百分点,F1得分提高2.67个百分点,Top-1准确率提高2.47个百分点,而参数量仅为48.9 M,可迁移至移动设备上使用,为真实场景下苹果叶片病害的快速、准确识别提供了一种有效的解决方案。

基于双向融合纹理和深度信息的目标位姿检测

针对在硬件设备资源有限的情况下,深度相机在非结构化场景如何获取物体精确的位姿信息问题,提出一种基于双向融合纹理和深度信息的目标位姿检测方法。在学习阶段,两个网络采用全流双向融合(FFB6D)模块,纹理信息提取部分引入轻量的Ghost模块,减少了网络的计算量,并加入能增强有用特征的注意力机制CBAM,深度信息提取部分扩展了局部特征并多层次特征融合,获取更全面的特征;在输出阶段,为提高效率利用实例语义分割结果过滤背景点,再进行3D关键点检测,最终通过最小二乘拟合算法得到位姿信息。在LINEMOD、Occlusion LINEMOD和YCB⁃Video公共数据集上验证,其精度分别达到了99.8%、66.3%和94%,且参数量减少了31%,表明改进的位姿估计方法在保证精度的同时,也减少了参数量。

面向交通场景的轻量级行人检测算法

针对交通场景下行人检测模型网络复杂、参数量大以及难以在低性能设备上部署的问题,基于YOLOv5s网络模型提出了一种改进的轻量级行人检测算法。首先,使用Ghost模块重构YOLOv5s网络进行特征提取,降低模型的参数量和计算量,提高推理速度。其次,引入坐标注意力机制提高模型对目标特征的提取能力,提升其对小目标行人的检测效果。最后,采用SIoU损失函数加快模型的收敛速度,提高模型的识别准确率。实验结果表明,改进后的算法能保证较高的检测精度,与原始YOLOv5s算法相比参数量减少47.1%,计算量减少48.7%,提高了交通场景下行人检测的速度且易于部署。

基于空间信息增强的轻量化玉米果穗品质识别

果穗是籽粒的聚集形态。为实现轻量化卷积神经网络对玉米果穗品质的准确、快速识别,提出了一种结合轻量化主干和轻量化通道池化注意力模块(Lightweight channel pooling attention,LCPA)的玉米果穗品质识别模型LCPA-Ghost。首先,采用Ghost网络实现轻量化处理,减少训练成本和冗余信息,提升模型的特征学习能力。其次,将LCPA模块增加到Ghost模块的捷径连接中,在引入少量参数的情况下,弥补空间信息捕获能力的不足,保证模型识别准确率。实验以正常、籽粒杂乱、霉变、杂色和缺粒果穗为研究对象,采集并制作了包含1571张果穗图像的基础数据集。实验结果表明,LCPA-Ghost模型的测试识别率达98.12%,与CorNet相当,而模型参数量仅为2.40 M,单张识别速度为19.08 ms,提升9.8%。LCPA-Ghost模型为玉米果穗品质的轻量化识别提供了可行的实验方法。

基于SR-YOLOv8n-BCG的模糊花卉图像检测

为满足复杂环境下对模糊花卉图像快速、精确的检测需求,提出了一种组合模型SR-YOLOv8n-BCG,该模型有效地综合了SRGAN(Super-resolution generative adversarial network)的图像重建能力和YOLOv8的目标检测能力,并针对网络结构进一步改进,以提高准确率并实现轻量化。首先,SR-YOLOv8n-BCG利用SRGAN对模糊花卉图像进行超分辨处理,提高输入模型的图像质量。其次,在YOLOv8n特征提取网络中使用加权双向特征金字塔网络(Bidirectional feature pyramid network,BiFPN)替换PAN-FPN模块,以有效融合多尺度的花卉特征,并降低模型的体积。同时,引入坐标注意力机制(Coordinate attention,CA)以增强模型的特征提取能力。最后,利用Ghost卷积替换普通卷积,进一步提升检测精度并轻量化模型。结果表明,经过在自制的5类花卉数据集上的试验评估,相较于SR-YOLOv8n,SR-YOLOv8n-BCG模型在模型尺寸减小35.5%的情况下,平均精度均值提高1.2百分点,达到95.4%。表明提出的改进模型有效地提高了对模糊花卉图像检测的准确率,并实现了轻量化以适应低配的设备。

基于改进ShuffleNet v2模型的苹果叶片病害识别方法

针对真实环境下苹果叶片病害识别背景复杂、识别准确率不高,且一些大型网络在分类任务中参数量较大,迁移到移动设备和嵌入式设备上时存在难以存储等问题,提出一种改进轻量化网络ShuffleNet v2的识别方法。首先收集了斑点落叶病、灰斑病、花叶病、锈斑病、褐斑病5类常见苹果叶片病害图像样本,通过镜像高斯和旋转等方式对图像进行处理,以增加图片数量,提升模型识别和泛化能力。接着基于轻量化ShuffleNet v2网络为主体,调整第1层卷积核的尺寸,将3×3、步长为2的卷积核调整为1×1、步长为1的卷积核。最后融合空间注意力机制,并进行加权,增强模型对重要信息的注意,再引入Ghost模块,提高模型表征能力。结果表明,改进后的模型相比ShuffleNet v2总体平均精确率提升1.23百分点,平均F 1分数提升了1.21百分点,平均召回率提升了1.20百分点,Top-1准确率提升了1.17百分点,参数量仅为9.8 MB,说明本研究得出的方法具有较高的准确率,为真实场景下苹果叶片病害识别提供了一种有效的解决方案,并为未来工作提供新方向。

基于改进的YOLOv5模型和射线法的车辆违停检测

车辆违法停车将会降低道路通行效率,引发交通拥堵和交通事故.传统的车辆违停检测方法参数量大且准确度低.为此,本文提出了一种使用改进的YOLOv5模型和射线法的车辆违停检测方法.首先设计了轻量化的特征提取模块,减少模型参数量;其次在模型中加入注意力机制,从通道维度和空间维度增强模型的特征提取能力,保证模型精度;接着使用混合数据增强丰富数据集样本,提升复杂背景下的检测效果;然后选用EIoU作为损失函数提高模型定位能力.实验结果表明,改进后的模型均值平均精度达到91.35%,比原始YOLOv5s提升1.01个百分点,并且参数量减少35.79%.最后将改进后模型与射线法结合,在Jetson Xavier NX嵌入式平台的检测速度可以达到约28帧/s,能够实现实时检测.

基于改进YOLOv5s的电力作业人员安全帽检测算法研究

传统的电力施工现场安全帽检测算法的网络计算复杂度高、在复杂场景下对于远处目标和密集群体存在漏检等问题,提出一种改进后的轻量化YOLOv5s-GCAE算法,主干网络首先用GhostNet网络中的深度可分离卷积GhostConv,以此降低网络的计算量和参数量。其次在特征提取阶段中嵌入CA注意力机制,填补了引入轻量化网络时精度的缺失。引入自适应空间特征融合(ASFF)网络以有效融合多尺度特征,提高模型丰富的语义特征表示使网络更好的适应复杂的电力施工现场。最后引入损失函数EIOU,促使网络专注于高质量的锚点以提升在复杂场景下安全帽检测精度。构建了一个包含开源图片和自行收集的图片共9326张的安全帽佩戴检测数据集。实验结果表明,该算法的安全帽检测准确率为93.4%,比YOLOv5s算法高2.1%,符合电力场景下安全帽检测的精度要求。

基于Ghost模块的农资图像文本检测算法及其应用

针对农资图像中文本的检测速度慢并且缺乏移动端的应用等问题,基于农资图像数据集,提出了一种基于Ghost模块的农资图像文本检测算法,该算法对DB网络进行改进,使用MobileNetv2网络来提取基础特征,引入多尺度特征融合模块来获得多层之间的特征融合,并采用可微分二值化后处理算法预测文本,使其能够快速地检测农资图像中的文本。该算法在农资图像数据集上的准确率基本达到了主流算法的标准,检测速度达18.6 img/s,参数量为2.99 M,具备轻量级的特征,将此算法部署到移动端设备上并成功运行。