基于YOLO v5的农田杂草识别轻量化方法研究

针对已有杂草识别模型对复杂农田环境下多种目标杂草的识别率低、模型内存占用量大、参数多、识别速度慢等问题,提出了基于YOLO v5的轻量化杂草识别方法。利用带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法对部分图像数据进行预处理,提高边缘细节模糊的图像清晰度,降低图像中的阴影干扰。使用轻量级网络PP-LCNet重置了识别模型中的特征提取网络,减少模型参数量。采用Ghost卷积模块轻量化特征融合网络,进一步降低计算量。为了弥补轻量化造成的模型性能损耗,在特征融合网络末端添加基于标准化的注意力模块(Normalization-based attention module, NAM),增强模型对杂草和玉米幼苗的特征提取能力。此外,通过优化主干网络注意力机制的激活函数来提高模型的非线性拟合能力。在自建数据集上进行实验,实验结果显示,与当前主流目标检测算法YOLO v5s以及成熟的轻量化目标检测算法MobileNet v3-YOLO v5s、ShuffleNet v2-YOLO v5s比较,轻量化后杂草识别模型内存占用量为6.23 MB,分别缩小54.5%、12%和18%;平均精度均值(Mean average precision, mAP)为97.8%,分别提高1.3、5.1、4.4个百分点。单幅图像检测时间为118.1 ms,达到了轻量化要求。在保持较高模型识别精度的同时大幅降低了模型复杂度,可为采用资源有限的移动端设备进行农田杂草识别提供技术支持。

结合轻量化与多尺度融合的交通标志检测算法

交通标志检测在自动驾驶领域具有重要的应用价值,及时准确地检测交通目标对提高驾驶安全性和预防交通事故具有重要意义。针对交通标志尺寸小,易受遮挡,在复杂环境下容易出现漏检、错检等问题,在YOLOv8的结构基础上提出一种结合轻量化与多尺度融合的交通标志检测网络架构M-YOLO,构建M-YOLOs模型来应对高精度需求的检测任务,并调整网络深度得到更轻量化的M-YOLOn模型来解决不同环境下的检测需求。首先针对交通标志目标尺寸小、图像特征流失的问题,通过增加小目标检测层,保留更多的特征信息,提高网络对于小目标的特征学习能力。提出高效多尺度特征金字塔融合网络MPANet,将浅层特征图进行降维与跳跃连接,从而融合更多的图像特征信息。然后提出融合稀疏注意力和空间注意力的BRSA注意力模块,有效提取全局和局部的位置信息,减少复杂背景下对于关键信息的干扰。最后设计两种轻量高效的BBot模块和C2fGhost模块,以提高模型运算速度并减少参数量。实验结果表明,M-YOLO相较于YOLOv8,参数量降低约1/3。在TT100K数据集和GTSDB数据集上,M-YOLOs检测精度分别提升了9.7和2.1个百分点,M-YOLOn检测精度分别提升了14.5和2.6个百分点,在轻量化的同时具备更高的检测效果。M-YOLO架构解决了浅层特征图在特征提取过程中信息丢失的问题,并显著降低模型特征提取过程中冗余的计算开销,在实景采集的数据集上证实效果有效,表明在交通标志检测任务中具有应用价值。

基于挤压激励的轻量化注意力机制模块

针对向卷积神经网络(CNN)中嵌入注意力机制模块以提高模型应用精度导致参数和计算量增加的问题,提出基于挤压激励的轻量化高度维度挤压激励(HD-SE)模块和宽度维度挤压激励(WD-SE)模块。为了充分利用特征图中潜在的信息,HD-SE对卷积层输出的特征图在高度维度上进行挤压激励操作,获得高度维度上的权重信息;而WD-SE在宽度维度上进行挤压激励操作,以得到特征图宽度维度上的权重信息;然后,将得到的权重信息分别应用于对应维度的特征图张量,以提高模型的应用精度。将HD-SE与WD-SE分别嵌入VGG16、ResNet56、MobileNetV1和MobileNetV2模型中,在CIFAR10和CIFAR100数据集上进行的实验结果表明,与挤压激励(SE)模块、协调注意力(CA)模块、卷积块注意力模块(CBAM)和高效通道注意力(ECA)模块等先进的注意力机制模块相比,HD-SE与WDSE在向网络模型中增加的参数和计算量更少的同时得到的精度相似或者更高。

基于注意力机制轻量化模型的植物病害识别方法

针对现有植物病害识别模型存在响应速度慢、参数量多、计算机内存资源消耗大等问题,本研究提出了一种轻量化神经网络模型,该模型由特征提取层、特征增强层和分类器组成。为了减小模型大小并提高网络响应速度,在特征提取层中使用深度可分离卷积进行特征提取。为了防止网络传播过程中的梯度消失并增强病害像素特征融合,在特征提取层中引入了大卷积核倒置残差结构(IRBCKS)模块。此外,在特征增强层集成了轻量级卷积块注意力模块(CBAM)注意力机制,以捕捉植物病害相关图像中像素之间的关系,增强关键信息的提取。最后,采用剪枝技术剔除模型中冗余特征信息,从而再次减少模型参数量,形成最终的轻量级网络模型Cut-MobileNet。为验证该模型的先进性,将其与轻量化模型(MobileNet V2、SqueezeNet、GoogLeNet)和非轻量化模型(Vision Transformer、AlexNet)进行性能对比,研究结果表明,Cut-MobileNet在浮点运算量、准确率、单张图片推理时间、参数量、F1值和模型大小等性能指标上都取得了较优的效果。

基于轻量卷积和信息增强的目标检测算法

为解决在矿井环境中目标检测算法模型体积大、计算复杂度高以及模型轻量化后精度低的问题,提出了一种专为矿井环境设计的目标检测算法——YOLO-AM。该算法采用轻量化网络MobileNetv2作为主干网络,并使用深度可分离卷积来替代颈部网络中的3×3卷积,显著降低模型的计算量和参数量。这一设计使得算法更适应矿井中有限的计算资源和对实时性的需求。接着在主干网络的输出位置引入坐标注意力机制,增强输出特征中的有效信息。同时提出了一种浅层特征增强模块,在特征融合网络融合该模块用于增强浅层特征的语义信息,从而提高模型的检测精度。在公共数据集PASCALVOC上的试验结果表明,相比基准模型YOLOv4,YOLO-AM以降低7%检测精度的代价,减小了83%的参数量和86%的计算量,同时也提高了检测速度。

基于参数轻量化的井下人体实时检测算法

针对现有井下人员目标检测方法因网络较深、计算量庞大而不能达到实时检测效果的问题,提出了一种基于参数轻量化的井下人体实时检测算法。采用深度可分离卷积模块和倒置残差模块构建轻量级特征提取网络:通过深度可分离卷积压缩参数量和运算量,提升特征提取网络的运算速度;倒置残差模块通过更高维度的张量来提取足够多的信息,保证特征提取网络的精确度。结合轻量级特征提取网络和SSD多尺度检测方法建立井下人体实时检测模型,该模型在轻量级倒置残差特征提取网络的基本结构上增添传统卷积层至27层进行卷积操作,其中6层特征图被抽取进行多尺度预测,测试结果表明,该模型的大小为18 MB,帧率约为35帧/s,性能优于常用的VGG16+Faster R-CNN模型和VGG16+多尺度检测模型。为适应井下特定环境的目标检测需求,设计了基于Faster R-CNN的人体数据半自动标注方法,可显著减少人工工作量,提高井下人体检测精度。利用矿工服装颜色信息对检测结果框进行二次筛选,剔除将背景检测为人体的误检框。测试结果表明,该算法实现了采煤工作面人员实时定位检测及框选,精度达92.86%,召回率为98.11%,有效解决了井下人员漏检及误检问题。

基于改进卷积及分类器的轻量级人脸表情识别

目前深度学习的表情识别方法存在参数量大、实时性差的问题,提出基于改进卷积与分类器的轻量级人脸表情识别方法。在深度可分离卷积的基础上设计出浅层特征提取模块和轻量化卷积残差模块提取特征信息,然后改进分类器去替换全连接层进行表情分类。最终模型的参数量由11、171、271下降至5、925、288;同时在FER2013数据集和CK+数据集上保持了高达73.76%和97.74%的识别率,性能优于目前流行的ResNet18网络。

轻量化网络模型实现相位的快速解缠绕

针对深度神经网络参数量大、严重消耗硬件运算资源的问题,提出一种改进型的UNet相位图像解缠绕的轻量化网络模型(G-UNet).该网络利用Ghost卷积构建GhostBlock模块,实现不同卷积层间的线性变换,再由GhostBlock构建多层的G-UNet网络,该算法有效地减小网络模型的总参数量,与传统UNet相比,G-UNet浮点计算量大幅减少.实验基于不同回波时间下仿真人脑的磁共振相位图,以UNet和传统相位解缠绕拉普拉斯算法作为对比算法,结果表明,提出的加速算法不仅可有效地进行相位解缠绕,获得与UNet相近且高于拉普拉斯算法的峰值信噪比和结构相似度,同时参数量及浮点计算量较UNet减少了近80%.

隧道环境下基于深度学习的轻量级安全帽检测方法

隧道施工现场人员不按规定佩戴安全帽是事故发生的主要原因之一,使用安全帽检测算法能有效监督作业平台上所有人员安全帽佩戴的情况,及时作出风险预警,降低安全事故发生的可能。然而,工业上常用的安全帽检测算法计算复杂度较高,很难适用于隧道环境中的嵌入式移动设备,已有轻量级算法又很难在隧道光线差、背景复杂的条件下保持检测精确度。针对上述问题,文中提出一种基于改进YOLO_v3的轻量级安全帽检测算法,构建运算量较低的卷积模块LW_Conv,并以此改造主干网和特征金字塔。实验结果表明,改进算法的FLOPs约为YOLO_v3的10%,平均正确率(AP)比Tiny_YOLOv3高2%。

基于反向瓶颈和LCBAM设计的X光违禁品检测

针对X光违禁品图像姿态与角度变化易漏检误检及困难样本检测准确率低等问题,以YOLOv5网络为基线模型,提出一种融合了反向瓶颈结构和轻量化卷积块注意力模块设计的违禁品检测模型。在主干网络采用反向瓶颈结构设计注重细节特征信息,改进网络应对检测目标大角度变化问题;采用轻量化卷积块注意力机制抑制复杂背景干扰,降低模型参数量;此外,采用高斯误差线性单元激活函数和改进的置信度损失函数增强模型的非线性表达能力,加大对置信度预测的惩罚力度,优化网络对困难样本的检测性能。所提模型在三个大型公开数据集OPIXray、SIXray、HiXray上进行训练和测试,mAP分别达到了91.9%、93.4%和82.2%。结果表明,所提模型能够有效解决基线模型应对X光违禁品角度变化问题,具有较高的检测准确性和稳健性。

基于改进的Yolov5的无人机图像小目标检测

为了解决无人机航拍图像小目标检测算法检测速度与精度无法兼顾的问题,在Yolov5的基础上,提出了针对于无人机图像小目标检测的Yolov5_GBCS算法。在新的算法中,添加一个额外的检测头,以便增强对小目标的特征融合效果;在主干网络中分别采用GhostConv卷积模块、GhostBottleneckC3模块替换部分Conv模块和C3模块用以提取丰富特征和冗余特征以提高模型效率;引入加权双向特征金字塔网络(bidirectional feature pyramid network,BiFPN)结构,用以提高对小目标的检测精度;在主干网络和颈部网络中引入轻量化的卷积块注意力模块(convolutional block attention module,CBAM),关注重要特征并抑制不必要的特征,增强小目标特征表达能力;使用Soft-NMS算法来替换NMS,因此降低了小目标在密集场景下的漏检率。通过在VisDrone2019数据集上的实验结果表明,集成了所有改进的方法后的Yolov5_GBCS算法,不仅提高了检测精度,而且有效地提高了检测速度,模型的mAP从38.5%提高到43.2%,检测速度也从53 f/s提高到59 f/s。Yolov5_GBCS算法可以有效地实现无人机航拍图像中小目标识别。

基于RDN-YOLO的自然环境下水稻病害识别模型研究

针对自然环境下水稻病害识别准确度易受复杂背景干扰、病害类间差异小难以准确识别等问题,以提高水稻病害识别精度并进行模型的有效轻量化为前提,提出了一种水稻病害识别网络模型(RiceDiseaseNet,RDN-YOLO)。以YOLO v5为基本框架,在主干网络的特征提取阶段嵌入跨阶段部分网络融合模块(C2f),增强模型对病害特征的感知能力,并引入空间深度转换卷积(SPDConv),扩展模型的感受野,进一步提升模型对小病斑特征提取能力;在颈部网络嵌入SPDConv结构,并利用轻量级卷积GsConv替换部分标准卷积,提高颈部网络对病害部位的定位和类别信息预测的准确性及推理速度;以穗瘟病、叶瘟病、胡麻斑病、稻曲病和白枯病5种常见水稻病害为研究对象,在自然环境下采集水稻病害图像,制作水稻病害数据集,进行模型训练与测试。实验结果表明,本文模型病害检测精确率高达94.2%,平均精度均值达93.5%,模型参数量为8.1 MB;与YOLO v5、Faster R-CNN、YOLO v7、YOLO v8模型相比,模型参数量略大于YOLO v5,但平均精度均值最高约高12.2个百分点,在一定程度上减轻模型复杂度的同时获得良好的水稻病害识别效果。

基于轻量级改进的YOLOv8水下目标检测模型

在恶劣和多变的水下环境中工作的设备是进行水下研究和开发的基本保障。现阶段的水下目标检测模型参数量和计算量过大,在资源有限的水下设备上部署受限。为解决水下检测模型参数量和计算量过大问题,提出一种轻量级的水下目标检测模型RCE-YOLO。首先,利用RFAConv的空间注意力权重来改进CBS处理接受域信息的能力和提升C2f对空间特征信息融合的能力,增强模型对小密集目标的检出能力。其次,融合CCFM与Dysample模块,该融合模块能够更有效的利用不同尺度信息并通过内部的点采样方法减少原先采样产生的模糊和失真。最后,在SPPF前向传播过程中融合高效多尺度注意力机制,该机制使得模型重点关注水下目标关键信息,降低误检率和错检率。实验结果表明,改进的轻量级模型在数据集DUO上进行验证,mAP50、mAP50:90值分别达到83.6%、64.2%,相较于YOLOv8基准模型mAP50、mAP50:90值分别提升了1.4%、1.2%,参数量和计算量分别下降了32.3%、0.9 G。相较于其他目标检测模型满足了恶劣多变环境下的水下目标检测需求,为水下设备轻量级部署奠定基础。

基于多任务学习的人脸属性识别方法

针对传统深度卷积神经网络模型复杂、识别速度慢的问题,提出一种基于多任务学习的人脸属性识别方法。通过轻量化残差模块构建基础网络,根据属性类之间的关联关系设计共享分支网络,以大幅减少网络参数和计算开销。以多任务学习的方式联合优化各分支网络与基础网络的参数,利用关联属性间的共同特征实现人脸属性识别。采用带权重的交叉熵作为损失函数监督训练网络模型,改善正负样本数不均衡问题。在公开数据集CelebA上的实验结果表明,该方法的识别错误率低至8.45%,空间开销仅2.7 MB,在CPU上每幅图预测时间低至15ms,方便部署在资源有限的移动或便携式设备上,具有实际应用价值。

基于改进ShuffleNet V2模型的苹果叶部病害识别及应用

苹果生长过程中容易受到病害影响而减产,造成经济损失。大型卷积神经网络可准确识别出苹果病害,但移动设备有限的计算资源限制了该类网络在其上的具体应用。轻量级卷积神经网络可运行在移动端,并能够实现病害的实时识别,但其识别精度往往不如前者。为解决该问题,在轻量级卷积神经网络ShuffleNet V2基础上,通过调整基本残差单元结构和网络宽度,同时引入卷积块注意模块(convolutional block attention module,CBAM),提出了改进型ShuffleNet#苹果叶部病害诊断模型。以苹果疮痂病、黑腐病、锈病、健康叶片为研究对象,收集简单和复杂背景图像各2000张,通过数据增广将其扩充至40000张,构建苹果叶部病害图像数据集,应用该数据集,对苹果叶部病害诊断模型进行训练和测试。以识别准确率、模型复杂度、平均推理时间等为判别标准,并与多个现有卷积神经网络模型进行比较。结果表明:改进后的模型能有效地识别出上述2种不同背景的4类图像,在测试集上识别准确率达到98.95%,移动端单张图像的平均推理时间为39.38ms。相较于大型的ResNet101网络,该模型在准确率上仅降低0.05%,但平均推理时间缩减87.94%,在识别速度和精度上获得了较好的平衡。基于该模型,开发了一款面向Android移动端的苹果叶部病害识别应用,测试结果表明,该应用能够满足果园内上述3种病害和健康叶片的实时识别需求,可为设计高效、轻量的病害诊断模型提供思路和参考。

结合轻量化骨干与多尺度融合的单阶段检测器

目的基于卷积神经网络的单阶段目标检测网络具有高实时性与高检测精度,但其通常存在两个问题:1)模型中存在大量冗余的卷积计算;2)多尺度特征融合结构导致额外的计算开销。这导致单阶段检测器需要大量的计算资源,难以在计算资源不足的设备上应用。针对上述问题,本文在YOLOv5(you only look once version 5)的结构基础上,提出一种轻量化单阶段目标检测网络架构,称为E-YOLO(efficient-YOLO)。方法利用E-YOLO架构构建了E-YOLOm(efficient-YOLO medium)与E-YOLOs(efficient-YOLO small)两种不同大小的模型。首先,设计了多种更加高效的特征提取模块以减少冗余的卷积计算,对模型中开销较大的特征图通过下采样、特征提取、通道升降维与金字塔池化进行了轻量化设计。其次,为解决多尺度特征融合带来的冗余开销,提出了一种高效多尺度特征融合结构,使用多尺度特征加权融合方案减少通道降维开销,设计中层特征长跳连接缓解特征流失。结果实验表明,E-YOLOm、E-YOLOs与YOLOv5m、YOLOv5s相比,参数量分别下降了71.5%和61.6%,运算量下降了67.3%和49.7%。在VOC(visual object classes)数据集上的平均精度(average precision,AP),E-YOLOm比YOLOv5m仅下降了2.3%,E-YOLOs比YOLOv5s提升了3.4%。同时,E-YOLOm的参数量和运算量相比YOLOv5s分别低15.5%与1.7%,mAP@0.5和AP比其高3.9%和11.1%,具有更小的计算开销与更高的检测效率。结论本文提出的E-YOLO架构显著降低了单阶段目标检测网络中冗余的卷积计算与多尺度融合开销,且具有良好的鲁棒性,并优于对比网络轻量化方案,在低运算性能的环境中具有重要的实用意义。

基于轻量型卷积神经网络的海面红外显著性目标检测方法

为提高红外舰船图像显著性检测精度,同时降低参数量,提出一种轻量型红外舰船显著性检测模型。该模型针对红外图像缺乏颜色、纹理等细节特征的特点,从以下三个方面进行轻量化设计:在骨干网络设计方面,将视觉几何组网络(visual geometry group, VGG)各层的通道数减少一半作为骨干网络,以减少冗余的特征;为了进一步减少模型参数量,在前两个低层卷积模块中引入一种轻量型的线性瓶颈模块(linear bottleneck, LB)替换传统卷积模块;提出一种新的提取全局特征能力更强的轻量型的高层线性瓶颈模块(high-level linear bottleneck, HLLB)替换后3个高层传统卷积模块,并且使用自适应平均池化提取高层特征作为全局特征以得到更丰富的上下文信息。针对红外数据集缺少的问题,构建一个红外舰船数据集IRShip,包括1002幅图像。试验结果表明:该算法能够有效实现红外舰船目标的显著性检测,并且通过与其他7种常用的显著性检测模型对比,本研究提出的模型可以在大幅减少参数量的情况下有效提升红外舰船显著性目标检测的性能。