基于scSE非局部双流ResNet网络的行为识别

针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段上稀疏采样,提取RGB帧以及光流图作为scSE模块的输入;将经过scSE处理的特征输入非局部双流ResNet网络中,融合各分段得到最终的预测结果。在UCF101以及Hmdb51数据集上实验准确率分别达到96.9%和76.2%,结果表明,非局部操作与scSE模块结合可以增强特征时空上以及通道间的信息提高准确率,验证了SC_NLResNet网络的有效性。

基于轻量化网络对植物叶斑病的目标检测研究

为了提高植物叶斑病的检测效率和精度,引入主流的目标检测模型YOLOv5对叶斑病进行检测。结果显示,模型在检测较小的叶斑病时精度不高,且模型权重体积较大,不利于在终端边缘设备上部署。为此,对YOLOv5模型进行改进。首先,采用经过SCSE模块修改的MobileNetv3轻量化网络结构替代原有的CSP-Darknet53主干网络,从而降低模型的参数量和计算复杂度;其次,使用K-means++聚类方法优化Anchors参数,使先验框更好地为目标检测模型提供信息,增强模型的性能和泛化能力,减少对标注数据的依赖;最后,在主干网络的最后一层引入ASPPF模块,提高模型在不同尺度上的检测性能。实验结果表明,与原YOLOv5s算法相比,改进方法在植物叶斑病检测任务中表现更优,精确率、召回率和mAP等指标分别提高了2%、2.7%和1.5%,模型大小降低了39.1%。通过优化YOLOv5模型,实现了对不同植物类型大小不一的叶斑病的高效检测,有效降低了模型的大小,并提高了模型的检测精度。

基于HU-ResNet的混凝土表观裂缝信息提取

针对混凝土结构表观裂缝检测准确率低、细节信息丢失及精度不高等问题,提出一种利用HU-ResNet卷积神经网络的混凝土表观裂缝检测方法。基于改进U-Net网络建立HU-ResNet模型,采用经ImageNet预训练的ResNet34残差网络作为编码器,以保留裂缝细节信息并加速网络收敛,引入scSE注意力机制模块在空间和通道重新标定编码块与解码块的输出特征,并利用超柱模块融合解码器各阶段所输出特征图获取更精确的裂缝图像语义信息和定位,同时采用组合损失函数进一步提高裂缝图像精度。实验结果表明,该模型的像素准确率、交并比和F1值分别达到0.9904、0.6933和0.8166,优于Canny、区域生长等传统数字图像模型和FCN8s、U-Net、U-ResNet等深度学习模型且裂缝检测更精准。

基于改进YOLOv4的小目标行人检测算法

行人检测在无人驾驶环境感知领域具有重要应用。现有行人检测算法多数只关注普通大小的行人目标,忽略了小目标行人特征信息过少的问题,从而造成检测精度低、应用于嵌入式设备中实时性不高等情况。针对该问题,提出一种小目标行人检测算法YOLOv4-DBF。引用深度可分离卷积代替YOLOv4算法中的传统卷积,以降低模型的参数量和计算量,提升检测速度和算法实时性。在YOLOv4骨干网络中的特征融合部分引入scSE注意力模块,对输入行人特征图的重要通道和空间特征进行增强,促使网络学习更有意义的特征信息。对YOLOv4颈部中特征金字塔网络的特征融合部分进行改进,在增加少量计算量的情况下增强对图像中行人目标的多尺度特征学习,从而提高检测精度。在VOC07+12+COCO数据集上进行训练和验证,结果表明,相比原YOLOv4算法,YOLOv4-DBF算法的AP值提高4.16个百分点,速度提升27%,将该算法加速部署在无人车中的TX2设备上进行实时测试,其检测速度达到23FPS,能够有效提高小目标行人检测的精度及实时性。