基于Ghost模块的农资图像文本检测算法及其应用

针对农资图像中文本的检测速度慢并且缺乏移动端的应用等问题,基于农资图像数据集,提出了一种基于Ghost模块的农资图像文本检测算法,该算法对DB网络进行改进,使用MobileNetv2网络来提取基础特征,引入多尺度特征融合模块来获得多层之间的特征融合,并采用可微分二值化后处理算法预测文本,使其能够快速地检测农资图像中的文本。该算法在农资图像数据集上的准确率基本达到了主流算法的标准,检测速度达18.6 img/s,参数量为2.99 M,具备轻量级的特征,将此算法部署到移动端设备上并成功运行。

基于Ghost模块的改进YOLOv5目标检测算法

现有以YOLOv5为代表的目标检测技术,存在骨干网络对特征提取不充分以及颈部层未高效融合浅层位置信息和深层高级语义信息等问题,这会导致检测精度较低,小目标误检、漏检。针对此问题,从兼顾实时性与检测精度出发,对YOLOv5进行改进,提出一种改进网络YOLOv5-CBGhost。首先在骨干网络中引入Ghost模块对模型进行轻量化处理,引入CA模块来更好地获得全局感受野,提高模型获取目标位置的准确度;然后借鉴双向加权特征金字塔网络,对原PAN结构进行改进,有效减少了特征冗余以及参数量,并通过跨层加权连接融合更多特征,提高了模型的目标检测精度;最后,增加多检测头以获取图片更丰富的高层语义信息,有效增加了检测精度。通过在PASCAL VOC2007+2012数据集上实验,YOLOv5-CBGhost的目标精度达到81.8%,相较于YOLOv5s,提高了3.0%,计算量减少42.5%,模型大小减少3.5%。

基于Ghost-SE-Res2Net的多模型融合语音唤醒词检测方法

语音唤醒词检测(WWD)是语音交互中的关键技术,选择合适大小的检测窗对WWD性能的影响很大。提出一种新的多模型融合方法,通过融合小检测窗和大检测窗的检测结果来提高WWD性能。多模型融合方法包含两个分类模型,分别使用小检测窗和大检测窗,均基于轻量化的挤压与激励残差网络(SE-Res2Net)模块,即GhostSE-Res2Net,SE-Res2Net结构的多尺度机制可显著提升WWD的能力。在Ghost-SE-Res2Net中,首先使用Ghost卷积替换SE-Res2Net中的普通卷积以降低模型参数量,然后使用注意力池化层替换SE-Res2Net中的全局平均池化层进一步提升WWD能力。在实际检测时融合连续3个小检测窗模型的检测结果的最大值和1个大检测窗模型的检测结果,来判断唤醒词是否被触发。在训练时引入困难样本挖掘算法,选择性地学习较难检测的唤醒词信息以提高分类模型的检测性能。在包含2个唤醒词的Mobvoi数据集上评估系统性能,实验结果表明,在每小时0.5次错误唤醒的情况下,该系统在2个唤醒词上的错误拒绝率分别为0.46%和0.43%,实现了与先进基线相似的性能,并且系统参数量比基线少31%。

WGAN-GP结合CBAM-VGG16轻量化网络滚动轴承故障诊断

针对滚动轴承故障诊断中存在的故障数据不平衡且诊断效率低的问题,提出一种将改进的生成对抗网络(Wasserstein Generative Adversarial Network with Gradient Penalty,WGAN-GP)和轻量化卷积神经网络相结合的滚动轴承故障诊断方法。首先,利用连续小波变换(Continuous Wavelet Transform,CWT)生成二维时频图,并通过WGAN-GP进行数据增强;其次在视觉几何群网络(Visual Geometry Group Network-16,VGG16)的基础上,引入Ghost模块和全局平均池化(Global Average Pooling,GAP)对其进行轻量化改进;再次,利用卷积注意力模块(Convolutional Block Attention Module,CBAM)和带重启的余弦退火衰减法提高VGG16模型的性能,构建CBAM-VGG16轻量化卷积神经网络模型,将增强后的数据进行预处理后输入到模型中进行训练,建立故障诊断模型;最后采用西储大学轴承数据集进行模型验证和分析。实验结果表明:该方法证实了故障数据不足时进行故障诊断的可行性,缩短了模型的训练时间、诊断时间并缩减了模型的大小和参数量,提高了故障诊断的效率和准确率。

基于改进YOLOv5的铝型材表面缺陷检测算法

针对工业生产中铝合金型材表面缺陷在实际检测中出现漏检和误检的情况,提出一种YOLOv5-Ghost-CBAM-BiFPN模型对铝型材缺陷进行更加精确的检测。首先在YOLOv5 Backbone网中引入了一个轻量级Ghost模块,在保证准确性的前提下显著提高了检测速度。其次,将卷积块注意机制(CBAM)模块添加到Backbone网络的卷积层,以增强特征提取,进一步提高检测精度。此外,考虑到铝型材缺陷尺寸差异,在Neck模块中使用了用于多尺度特征融合的双向特征金字塔网络(Bi-FPN)来聚合不同缺陷类型的特征。实验表明:优化后的模型mAP、精确率P、召回率R都有明显提高。

面向交通场景的轻量级行人检测算法

针对交通场景下行人检测模型网络复杂、参数量大以及难以在低性能设备上部署的问题,基于YOLOv5s网络模型提出了一种改进的轻量级行人检测算法。首先,使用Ghost模块重构YOLOv5s网络进行特征提取,降低模型的参数量和计算量,提高推理速度。其次,引入坐标注意力机制提高模型对目标特征的提取能力,提升其对小目标行人的检测效果。最后,采用SIoU损失函数加快模型的收敛速度,提高模型的识别准确率。实验结果表明,改进后的算法能保证较高的检测精度,与原始YOLOv5s算法相比参数量减少47.1%,计算量减少48.7%,提高了交通场景下行人检测的速度且易于部署。

基于MLDCSAU-Net的视网膜图像血管分割算法

视网膜图像中血管的准确分割有助于对眼部病变的观察。为了提高视网膜图像血管分割精度和特征信息复用率以及精简模型,从网络框架入手,提出一种结合DCSAU-Net、多尺度信息融合模块以及Ghost模块的视网膜图像血管分割模型——MLDCSAU-Net模型。模型改进主要包括两个方面:首先在跳跃连接之后引入多尺度信息融合模块;其次编码器端使用Ghost模块替换编码器端的CSA模块。实验结果表明:多尺度信息融合模块对于模型的分割准确率有较大提升;Ghost模块有效减少了模型参数量。在STARE、CHASEDB1和HRF三个公开数据集中MLDCSAU-Net模型的准确率、查准率、查全率和F1分数均高于原模型,同时参数量更少。

基于YOLO v5的农田杂草识别轻量化方法研究

针对已有杂草识别模型对复杂农田环境下多种目标杂草的识别率低、模型内存占用量大、参数多、识别速度慢等问题,提出了基于YOLO v5的轻量化杂草识别方法。利用带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法对部分图像数据进行预处理,提高边缘细节模糊的图像清晰度,降低图像中的阴影干扰。使用轻量级网络PP-LCNet重置了识别模型中的特征提取网络,减少模型参数量。采用Ghost卷积模块轻量化特征融合网络,进一步降低计算量。为了弥补轻量化造成的模型性能损耗,在特征融合网络末端添加基于标准化的注意力模块(Normalization-based attention module, NAM),增强模型对杂草和玉米幼苗的特征提取能力。此外,通过优化主干网络注意力机制的激活函数来提高模型的非线性拟合能力。在自建数据集上进行实验,实验结果显示,与当前主流目标检测算法YOLO v5s以及成熟的轻量化目标检测算法MobileNet v3-YOLO v5s、ShuffleNet v2-YOLO v5s比较,轻量化后杂草识别模型内存占用量为6.23 MB,分别缩小54.5%、12%和18%;平均精度均值(Mean average precision, mAP)为97.8%,分别提高1.3、5.1、4.4个百分点。单幅图像检测时间为118.1 ms,达到了轻量化要求。在保持较高模型识别精度的同时大幅降低了模型复杂度,可为采用资源有限的移动端设备进行农田杂草识别提供技术支持。

基于改进YOLOv5的条烟识别研究

目的针对当下烟草物流中心条烟分拣机及人工分拣时会产生错烟等问题。从兼顾实时性、识别精度出发,基于YOLOv5s算法提出一种收敛速度更快、准确率更高的条烟识别模型。方法首先在YOLOv5s网络架构中融入CA注意力模块来更好地提取特征,提高模型获取目标位置的准确度;其次将原网络中的最近邻插值上采样算子改为轻量级通用上采样算子CARAFE,获得更大的感受野;然后在骨干网络中嵌入Ghost模块,对网络进行轻量化处理;最后在烟草物流中心搭建条烟图像采集系统,建立条烟图像数据集。结果相较于YOLOv5s,本文提出的优化算法计算量减少了45.8%,mAP@0.5值达到了99.3%,在条烟纠错系统上识别率约为99.9%。结论本文提出的优化算法能够高精度满足高速条烟分拣识别需求。

基于改进EfficientNetV2的苹果叶片病害识别模型

斑点落叶病、褐斑病、灰斑病、花叶病和锈病是常见的5种苹果树叶部病害,严重影响苹果产量。针对实际生产中叶片病害识别准确率不高以及现有模型参数量大难以迁移到移动设备的问题,本研究基于Ef-ficientNetV2-b0模型,经过改进后提出了轻量级的EGV2-CA网络。该网络在保留EfficientNetV2-b0主干网络的基础上,一是引入GhostNetV2网络中的核心Ghost Module,并选用original分支替换第一层卷积结构,可以进一步优化网络的计算效率,减少冗余计算,从而在提高模型速度和可移植性的同时保持较高的识别准确率;二是将EfficientNetV2-b0模型中Fused-MBConv模块的SE注意力机制替换为更高效的坐标注意力(CA)机制,通过将空间信息编码为坐标信息以更好地捕捉和表达空间上的细粒度特征。实验结果显示,相较于原始网络,EGV2-CA网络的识别精确率提高2.94个百分点,召回率提高2.53个百分点,F1得分提高2.67个百分点,Top-1准确率提高2.47个百分点,而参数量仅为48.9 M,可迁移至移动设备上使用,为真实场景下苹果叶片病害的快速、准确识别提供了一种有效的解决方案。

基于改进ShuffleNet v2模型的苹果叶片病害识别方法

针对真实环境下苹果叶片病害识别背景复杂、识别准确率不高,且一些大型网络在分类任务中参数量较大,迁移到移动设备和嵌入式设备上时存在难以存储等问题,提出一种改进轻量化网络ShuffleNet v2的识别方法。首先收集了斑点落叶病、灰斑病、花叶病、锈斑病、褐斑病5类常见苹果叶片病害图像样本,通过镜像高斯和旋转等方式对图像进行处理,以增加图片数量,提升模型识别和泛化能力。接着基于轻量化ShuffleNet v2网络为主体,调整第1层卷积核的尺寸,将3×3、步长为2的卷积核调整为1×1、步长为1的卷积核。最后融合空间注意力机制,并进行加权,增强模型对重要信息的注意,再引入Ghost模块,提高模型表征能力。结果表明,改进后的模型相比ShuffleNet v2总体平均精确率提升1.23百分点,平均F 1分数提升了1.21百分点,平均召回率提升了1.20百分点,Top-1准确率提升了1.17百分点,参数量仅为9.8 MB,说明本研究得出的方法具有较高的准确率,为真实场景下苹果叶片病害识别提供了一种有效的解决方案,并为未来工作提供新方向。

基于深度学习的奶牛乳头检测方法研究

为提高奶牛乳头目标检测的精度和速度,在YOLOv5算法中引入卷积注意力机制(Convolutional Block Attention Module,CBAM)和轻量级卷积模块(Ghost module),提出一种改进的CG-YOLOv5目标识别算法。改进的方法:首先,引入CBAM注意力机制,用于学习和提取奶牛乳头目标图像相关特征;其次,通过Ghost模块轻量化C3骨干网络,减少参数和计算量;最后,采用EIoU(Efficient iou)损失函数替换CIoU(Complete iou)的方法,以提高模型的回归精度和收敛速度。试验结果表明:改进的CG-YOLOv5目标识别算法在奶牛乳头数据集上表现出色,平均检测精度达到92%,检查帧率达到33.6,相较于原YOLOv5算法分别提高4%和16%。该算法在检测精度和速度上均优于原YOLOv5算法,验证了提出的CG-YOLOv5算法在奶牛乳头实时检测等场景的适用性。

基于改进YOLOv5s模型的红外弱小目标检测方法

针对复杂背景下红外场景对比度低、特征不足、细节不清而导致的目标检测效率低的问题,在YOLOv5s模型基础上通过创建TCC(two-way convolution and Concat)模块并引入华为Ghost模块,提出了一种基于改进YOLOv5s模型的红外弱小目标检测方法。首先,结合红外图像的低级语义特征,采取二路卷积和多尺度思想创建了TCC模块,提升了特征提取的全面性;接着,为进一步简化网络结构、减少网络参数量,引入轻量化Ghost模块改进了SPP池化层和CSP2卷积网络;最后,以无人机为实验对象,构建了白天和夜间不同背景条件下的红外弱小目标数据集,实验验证了本文改进算法的有效性。结果表明:改进后的YOLOv5s模型在较少损失帧频的情况下,检测精度提升了1.34%,平均精度均值(mean average precision, mAP)提升了2.26%,优于YOLOv4-tiny和YOLOv7-tiny两种轻量化模型,并与YOLOv8s模型精度相当,但模型参数量仅为YOLOv8s模型的53%,完全可以满足嵌入式设备部署的需求。

基于注意力机制的多尺度道路损伤检测算法研究

路损伤检测是道路养护与修复的一项重要任务。现有的道路损伤检测方式以传统的人工检测为主,人工检测需要投入大量的人力和物力,检测效率低,无法适应当前道路发展的需求。进而提出了一种改进的多尺度道路损伤检测算法YOLOv8-RDD。首先,YOLOv8-RDD算法在C2f模块中使用可变形卷积(DCN)建了全新的C2f_DCN模块,扩大感受野的有效范围,更准确地定位目标对象的边界和位置,有助于提升对目标的识别和定位能力;其次,网络末端设计了全新的SPPF_GS模块,在SPPF模块中引入了自注意力机制(SA)和幻影卷积Ghost模块,并重新优化了池化核的大小,更好的处理长距离依赖性和捕获全局信息;最后,在Neck中引入坐标注意力机制(CA),强化模型的特征提取能力,减少冗余信息。实验结果表明,改进后的算法在RDD2022数据集上面的精确度(Precision)为61.1%、召回率(Recall)为55.5%,平均精度(mAP)为56.2%,相较于YOLOv8n算法分别提高了4.6%、4.7%和5.2%,在道路损伤的目标检测上取得了优异的效果。

基于改进YOLOv7算法的变电站绝缘套管过热红外图像检测

针对变电站绝缘套管过热红外图像检测精度不高的问题,提出了基于改进YOLO第7版(you only look once version 7,YOLOv7)算法的检测技术。通过引入改良的跨阶段部分网络幽灵版本3(cross stage partial network ghost version 3,C3Ghost)模块替换头部网络中的扩展高效层聚合网络(extended efficient layer aggregation network,E-ELAN)模块,优化了网络结构,增强了算法对小目标的识别能力。此外,整合了轻量级基于归一化的注意力模块(normalization-based attention module,NAM)到主干网络中以提高对红外图像特征的利用效率,并引入幽灵卷积(ghost convolution,GhostConv)模块替换了网络中的所有卷积,显著降低了模型的大小。结果表明,与YOLOv7初始算法相比,改进YOLOv7算法在F1评分和平均精确率均值上分别提高了19.51%和16.57%,算法的参数量减小了16.3 MB,且检测速度达到了41帧/s,充分证明了该算法在变电站实际应用中的有效性。该研究不仅显著提高了变电站绝缘套管过热红外图像检测的准确性,也能为后续相关技术的研究提供参考。

一种改进的基于Inception-ResNet v2的眼疾病识别算法

该文旨在解决传统方法在眼疾病识别中分类准确率低的问题,提出了一种改进的眼疾病识别算法,基于Inception-ResNet v2架构,并引入SENet注意力机制、Ghost模块和空洞空间金字塔池化等技术。通过学习通道相关性和加强对重要特征的关注,显著提高了眼疾病分类的准确率,有效区分常见四种眼疾病数据集。为了进一步提高模型的泛化能力,还引入数据增强技术以减少过拟合。相比Efficient-Net、ResNet和Inception-ResNet等经典深度学习模型,该算法表现更优,为眼疾病早期诊断提供了更准确、高效的方法。

基于全景图像的车位检测方法研究

针对自动泊车过程中车位检测网络复杂、边缘部署困难等问题,提出了一种基于全景图像的车位检测方法。使用Ghost模块对参数进行量化处理;引入EIoU损失函数对检测尺度进行裁剪,以降低计算成本;添加SimSPPF模块替换SPPF模块,以提高计算效率和目标检测能力;对检测到的车位角点进行配对并推理出完整停车位。实验结果表明,该模型在保证检测精度的前提下大幅降低了网络复杂度,在检测性能和部署难度上优于以往常见方法。

基于Mobile-UNet 的葫芦科接穗苗子叶图像分割方法

农业嫁接栽培中,通常要保证嫁接后叶片方向与底部的砧木叶片成十字姿态。为了满足自动嫁接机实时准确分割接穗叶片进而找出子叶特征参数,提出一种基于改进UNet的轻量化分割网络。利用MobileNetV2主干作为UNet编码部分的特征提取主干网络,在加强特征提取层中使用Ghost模块实现所有双重卷积操作,在提高网络精度的同时减少网络参数和计算量。实验结果表明,Mobile-UNet模型相比原始模型在MIoU、Precision、Recall和Dice系数等指标上分别提高了5.69%、1.32%、4.73%和3.12%,模型的计算量和参数量分别下降了27.4%和35.3%,模型参数体积得到了有效压缩。此外,该模型与SegNet、DeepLabV3+经典语义分割模型相比,也具有分割精度高、参数量更小等优点,可部署于自动嫁接机系统,实现对夹持机构上的接穗子叶分割。

基于GBS-YOLOv5s的煤矿烟火检测

针对现有的煤炭烟火检测方法精确度低、参数量大、算法复杂度高等问题,提出了一种基于GBS-YOLOv5s的煤矿烟火检测算法。使用Ghost卷积模块实现特征提取,在原始算法上加入Ghost Bottleneck模块来减少模型参数量。其次,通过在SPPF模块后面加入全局上下文特征提取BoT3模块,增加对小目标的检测效果。最后,引入一种新的Soft-NMS算法,降低这些边界框的置信度,提升召回率,减少重叠目标的漏检。实验结果表明:GBS-YOLOv5s目标检测算法优于YOLOv5s算法,准确率提升了3.3%,每秒的浮点运算数GFLOPs减少了7.6 G,可以满足煤矿场景下对模型检测的要求。

双重轻量化PCB缺陷检测算法研究

针对PCB缺陷检测方法存在检测速度慢、对部署设备要求高等问题,本文提出一种双重轻量化PCB缺陷检测算法。首先在YOLOv5主干网络中采用轻量化模块C3Ghost;然后利用GSConv模块和C3GS模块搭建特征融合网络,用来获取主干网络丢失的部分语义信息和提高网络检测速度;最后利用多任务全局通道剪枝修剪对网络精度影响较小的通道,进一步减少模型的参数量和计算量。该算法在PKU-Market-PCB数据集上进行测试,平均精度值为98.9%、模型大小为5.2M、模型参数量为2393469、检测时间为3.3ms。对比原算法,其模型大小、模型参数量和检测时间分别减少64%、66%和25%。