结合轻量化与多尺度融合的交通标志检测算法

交通标志检测在自动驾驶领域具有重要的应用价值,及时准确地检测交通目标对提高驾驶安全性和预防交通事故具有重要意义。针对交通标志尺寸小,易受遮挡,在复杂环境下容易出现漏检、错检等问题,在YOLOv8的结构基础上提出一种结合轻量化与多尺度融合的交通标志检测网络架构M-YOLO,构建M-YOLOs模型来应对高精度需求的检测任务,并调整网络深度得到更轻量化的M-YOLOn模型来解决不同环境下的检测需求。首先针对交通标志目标尺寸小、图像特征流失的问题,通过增加小目标检测层,保留更多的特征信息,提高网络对于小目标的特征学习能力。提出高效多尺度特征金字塔融合网络MPANet,将浅层特征图进行降维与跳跃连接,从而融合更多的图像特征信息。然后提出融合稀疏注意力和空间注意力的BRSA注意力模块,有效提取全局和局部的位置信息,减少复杂背景下对于关键信息的干扰。最后设计两种轻量高效的BBot模块和C2fGhost模块,以提高模型运算速度并减少参数量。实验结果表明,M-YOLO相较于YOLOv8,参数量降低约1/3。在TT100K数据集和GTSDB数据集上,M-YOLOs检测精度分别提升了9.7和2.1个百分点,M-YOLOn检测精度分别提升了14.5和2.6个百分点,在轻量化的同时具备更高的检测效果。M-YOLO架构解决了浅层特征图在特征提取过程中信息丢失的问题,并显著降低模型特征提取过程中冗余的计算开销,在实景采集的数据集上证实效果有效,表明在交通标志检测任务中具有应用价值。

基于残差卷积网络的多传感器融合永磁同步电机故障诊断

作为工业生产与日常生活的常见设备,永磁同步电机的故障诊断研究具有十分重要的意义。以永磁同步电机的匝间短路、退磁、轴承故障为诊断目标,提出一种新型的多传感器特征融合网络(MSFFN),结合多传感器融合技术与卷积神经网络实现永磁同步电机的可靠故障诊断。网络采用2个带有残差模块的卷积神经网络,对输入的电流信号与振动信号并行提取隐藏特征,并设计一种中间特征融合模块(IFFM)有效融合电流和振动的各层隐藏特征,IFFM基于注意力机制对网络中的电流特征与振动特征进行筛选,自适应关注不同信号的内在相关特征,以实现更好的诊断效果。搭建了故障样机测试平台进行数据采集与实验验证,实验结果表明,提出方法具有更高的诊断准确率,同时在叠加了强噪声的条件下,具备更强的抗干扰能力。

基于深度学习的三维肿瘤及器官分割

针对三维医学图像中由于肿瘤或器官的形状、尺度差异较大导致分割精度较低的问题,提出一种端到端的三维全卷积分割模型。首先,设计空洞立方集成模块在不同分辨率阶段实现多尺度集成,增强复杂边界上的识别能力;其次,引入跨阶段上下文融合模块融合浅层和深层特征,促进收敛并更准确地定位目标对象;最后,解码器对来自编码器的特征进行拼接以实现分割。在脑肿瘤分割数据集上,平均Dice相似性系数值达到85.37%;在腹部器官分割数据集上,平均Dice相似性系数值达到83.99%。实验结果表明所提模型在三维肿瘤和器官的分割上具有较高精度。

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

基于改进YOLOv5s的跌倒行为检测

为了实现电厂人员跌倒行为的实时检测,防止跌倒昏迷而无法被及时发现并救援的事件发生,针对跌倒行为检测实时性以及特征提取能力不足的问题,提出了一种改进YOLOv5s的跌倒行为检测算法网络:在YOLOv5s模型中引入SKAttention注意力模块,使得网络可以自动地利用对分类有效的感受野捕捉到的信息,这种新的深层结构允许CNN在卷积核心上执行动态选择机制,从而自适应地调整其感受野的大小;同时结合ASFF自适应空间融合,并在其中充分利用不同特征,又在算法中引入权重参数,以多层次功能为基础,实现了水下目标识别精度提升的目标;加入空间金字塔池化结构SPPFCSPC,大幅缩短了推理时间;实验结果表明,相比于原始YOLOv5s,新网络在mAP平均精度均值方面提升了2.1%,查全率提升了16%;改进后的网络在感知细节和空间建模方面更加强大,能够更准确地捕捉到人员跌倒的异常行为,检测效果有了显著提升。

基于改进YOLOv5s的绝缘子缺陷检测算法研究

绝缘子缺陷检测是智能化电网发展中关键的一步,基于计算机视觉的绝缘子缺陷检测已经被大量应用于智能巡检中,选择YOLOv5s模型作为基础网络,在保证网络运行速度的前提下提升了检测精度。首先在主干特征提取网络中加入CBAM注意力模块,以增强模型的特征提取能力;其次在颈部结构采用BiFPN结构融合多尺度特征,减少特征丢失情况,以提升模型的特征融合能力;最后采用EIoU Loss作为网络回归损失的损失函数,解决了对航拍图像中各种尺度绝缘子敏感的问题,并提升网络的收敛速度。经过实验验证,在检测速度变化不大的情况下改进后的网络模型,平均精度均值(mAP)达到了94.13%,召回率(Recall)达到了84.94%,较YOLOv5s网络模型相比提升了5.71%和14.57%,同时模型的体积减小为13.5 MB,与其他改进模型相比,精度、召回率都有了明显提高,能够更好地满足实际应用的需求。

基于双分支边缘卷积融合网络的红外与可见光图像融合方法

提出一种基于双分支边缘卷积融合网络的红外与可见光图像融合方法。首先,提出一种改进的双分支边缘卷积结构,将图像包含的信息分解为公共信息和模态信息,并于每个分支引入边缘卷积块,更好的提取深度特征;然后在融合层引入卷积注意力模块对模态特征进行增强;最后基于所本文编解码网络特点,提出一种重建损失结合融合损失的损失函数。经过大量的消融性实验和对比实验表明,本文方法能够很好的保留原图像中的公共信息和模态信息,并且相比目前最新的融合方法在主观和客观评价上都具有优秀的综合性能。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

融合知识图谱的时空多图卷积交通流量预测

现有的交通流量预测方法关注交通信息的时空相关性,未充分考虑外部因素对交通的影响,为此提出融合静态和动态知识图谱的时空多图卷积交通流量预测模型.基于道路交通信息和外部因素,构建城市交通知识图谱和4个不同语义的路网拓扑图,将城市交通知识图谱输入关系演化图卷积神经网络,实现知识嵌入;使用知识融合模块将车流量矩阵与知识嵌入融合;将4个路网拓扑图和融合知识的车流量矩阵输入时空多图卷积模块,提取时空特征,通过全连接层输出交通流量预测值.在杭州交通数据集上评估模型性能,与先进的基线模型对比,所提模型的性能提高了5.76%~10.71%.鲁棒性实验结果表明,所提模型具有较强的抗干扰能力.

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

可变形分支注意力融合网络的胰腺分割方法

胰腺具有尺寸小、形状不规则且多变的特点,因此在腹部CT图像中自动分割胰腺具有极大的挑战性.为了适应胰腺特征并解决其分割困难的问题,本文提出了一种轻量级的可变形分支注意力融合网络(Deformable Branch Attention Fusion Network,DBA-Net)作为胰腺自动分割方法.该方法首先将候选区域裁剪出来作为网络的输入,以便减少背景干扰并突出胰腺区域;然后引入可变形卷积使网络自适应地学习胰腺的空间结构;最后提出分支注意力融合模块实现低级别特征和高级别特征的融合,帮助解码器更好地还原特征图.本文的方法在NIH数据集上测试的Dice相似系数为85.3%,在MSD数据集上的Dice相似系数为78.9%,相比基线U-Net分别提高了3.9%和5.6%.实验结果表明本文的方法能够对胰腺进行更好的分割.

双注意力机制与双向特征加权融合的车辆目标检测

公路监控视频中的车辆检测场景复杂多样,存在干扰严重、目标尺寸小、尺寸变化大等情况。已有基于深度神经网络的目标检测模型效率不高,且存在不同程度的错检及漏检问题。文章提出了一种基于通道-空间双注意力机制与双向特征加权融合的车辆目标检测模型,它与YOLOv5网络相结合,不仅提高了目标检测精度,还在满足实时性的前提下有效减少了模型计算量和参数。实验结果表明,模型的平均检测精度mAP由YOLOv5m的85.1%提升至91.5%,而计算量和参数量分别为YOLOv5m的44.3%与53.6%,同时检测速度略有提升,实现了简单、快速的车辆目标检测。

基于多注意力机制与跨特征融合的语义分割算法

图像语义分割技术在缺陷检测、医疗诊断、无人驾驶等领域广泛应用。针对现有语义分割模型普遍存在训练成本过高、目标轮廓分割效果不佳以及对小目标误分割、漏分割等问题,基于DeepLabv3+网络框架,提出多注意力机制与跨特征融合相结合的图像语义分割算法。该算法选取轻量级网络MobileNetv2作为主干,以缩短训练时间;通过优化空洞空间金字塔池化模块中空洞卷积的膨胀率,改善多尺度语义特征的提取效果,提高模型对小目标的分割能力,并将兼具通道与空间的卷积块注意力机制引入其中,更加关注对分割起决定作用的区域,从而加强对目标边界的提取;在编码器中设计跨特征融合模块,以聚合不同层次特征图的空间信息和语义信息,提高网络学习特征的能力;在编码和解码部分均引入坐标注意力机制,以分解全局平均池化的方式将位置信息嵌入到通道中,从而得到分割目标的准确位置。实验结果表明,所提算法F3crc-DeepLabv3+在PASCAL VOC 2012增强数据集和Cityspaces数据集上的平均交并比分别达到了75.06%和73.06%,平均精度分别达到了84.16%和82.05%,精确率分别达到了86.18%和85.43%,训练时间分别为10 h和13.8 h,具有较优的网络性能。

基于改进YOLOv7的交通标志检测算法

随着智能驾驶系统飞速发展,交通标志检测技术受到广泛关注。针对交通标志在图像中像素面积小、分辨率低、背景复杂等问题,提出了一种基于改进YOLOv7的交通标志检测算法。首先,构建增强特征提取模块。采用残差瓶颈结构和全维度动态卷积层优化特征提取网络中可拓展高效层聚合网络结构,不仅提高了特征提取网络聚焦小目标交通标志关键特征的能力,而且还避免了特征丢失。其次,在特征融合网络中嵌入轻量型混合注意力模块,过滤小目标交通标志周围复杂背景噪声,使网络的颈部更好地融合浅层细节信息和深层语义信息,增强多尺度特征融合效果。最后,解耦网络检测头使用两条享有不同参数的独立分支分别完成小目标交通标志分类和回归任务,提高分类回归准确度。在TT100K交通标志检测数据集上进行了实验评估,结果表明:相较于基线YOLOv7算法,改进算法的小目标精度提高了1.9%、小目标召回率提高了3.1%、mAP值提高了2.6%;同时,改进算法检测速度为57.1帧/s,满足实时检测的要求。

改进YOLOv8的输电线路异物检测方法

针对无人机对输电线路异物检测准确度有限,模型计算复杂度高、计算速度有限的问题,提出一种改进YOLOv8的输电线路异物检测方法SC-YOLO。该方法引入StarNet以构造C2f_Star模块实现Neck网络轻量化,有效降低模型参数量与计算量,同时通过增加特征空间维度提升Neck部分特征提取能力;在骨干网络输出特征图后添加卷积注意力融合模块,提升骨干网络对输入特征图的初步特征提取能力,增强模型整体检测效果;将原检测头替换为动态检测头,提升模型对不同输入的动态调整能力与对关键信息的关注程度;使用WIoU作为边界框损失函数,EMA-Slide Loss作为分类损失函数,提升模型泛化能力与检测性能。实验结果表明,提出的SC-YOLO计算量较原始模型下降8.02%,mAP提升1.4个百分点,达到了95.2%的检测精度,在降低模型计算复杂度的同时实现了较高的检测准确率,具有高可行性与实用性。

一种基于YOLOv4的密集人群小目标检测方法

针对密集人群中由于视觉受阻和目标被遮挡导致小目标检测精度不佳的问题,本文基于YOLOv4模型将卷积块–像素块注意力机制模块(convolutional-pixel block attention module,CBAM-PIX)融入主干网络CSPDarknet53,并利用级联思想改进特征融合网络。注意力机制方法和特征融合方法不仅提升了数据的丰富性,而且提高了空间通道像素提取信息的能力和目标检测的准确性。此外,通过减少网络层数降低计算量和减少参数,提高了网络模型在有限计算资源和设备需求下的适应能力。实验结果表明,改进的模型算法在用于密集人群小目标检测时精确度提升了1.96%,且鲁棒性强。该算法为解决复杂背景下密集人群小目标检测提供了有效的解决方案,具有应用价值。

基于多尺度循环卷积神经网络的卫星通信信号识别

针对目前的卫星通信调制分类算法大多忽略了不同尺度特征的融合问题,提出了一个多尺度循环卷积神经网络模型。该网络结构整合了双分支设计、压缩与激励策略、多尺度残差网络以及长短期记忆网络,旨在全面捕捉信号的多尺度特性并有效建模时间序列。实验结果表明:文中所提模型在0 dB以上的识别准确率达到了97.1%,在13 dB时更进一步提升至99%;与经典的CNN2模型和LSTM2模型相比,在识别准确率上展现了显著优势,且相较于识别性能接近的CLDNN2模型,参数量减少了47.7%,训练时间缩短了68%;尤其是QAM16和QAM64两种调制样式识别准确率显著上升并且保持较高水平,这也进一步证实了模型多尺度特征融合策略的有效性。

基于轻量卷积和信息增强的目标检测算法

为解决在矿井环境中目标检测算法模型体积大、计算复杂度高以及模型轻量化后精度低的问题,提出了一种专为矿井环境设计的目标检测算法——YOLO-AM。该算法采用轻量化网络MobileNetv2作为主干网络,并使用深度可分离卷积来替代颈部网络中的3×3卷积,显著降低模型的计算量和参数量。这一设计使得算法更适应矿井中有限的计算资源和对实时性的需求。接着在主干网络的输出位置引入坐标注意力机制,增强输出特征中的有效信息。同时提出了一种浅层特征增强模块,在特征融合网络融合该模块用于增强浅层特征的语义信息,从而提高模型的检测精度。在公共数据集PASCALVOC上的试验结果表明,相比基准模型YOLOv4,YOLO-AM以降低7%检测精度的代价,减小了83%的参数量和86%的计算量,同时也提高了检测速度。

基于集成改进卷积注意力块的SAR图像目标分类算法

在合成孔径雷达(Synthetic Aperture Radar,SAR)图像中,目标的轮廓和细节通常比较复杂。传统的卷积神经网络(Convolutional Neural Network,CNN)只使用单一均值参数进行无差别的特征提取,不能很好地区分SAR特征之间的差异。为了解决此问题,文章提出了1种基于集成改进卷积注意力块(Improved Convolutional Block Attention Module,ICBAM)的SAR图像目标分类算法ICBAM_CNN。首先,该模块通过引入方差参数至传统CBAM模块中,设计了1种改进的CBAM注意力机制,有助于分类识别网络更好地学习SAR图像不同目标卷积层输出与通道注意力之间的差异信息,提升不同SAR目标特征的可分离性;然后,ICBAM设计了1种中心坐标注意力机制,能更好地捕捉SAR图像中目标的中心分布特征,有效抑制杂波对SAR目标分类影像的干扰;最后,为了提高效率,将改进后的ICBAM模块集成到CNN网络中,实现SAR图像目标分类。ICBAM_CNN深度融合了SAR图像目标的多层级特征,提升了SAR目标特征的可分离性,可实现SAR图像目标的高精度、高效率识别分类。通过MSTAR数据集进行实验,结果表明,相比于传统CBAM方法,改进ICBAM方法的精确率提升了2.44%,召回率提升了2.24%,F1-score提升了2.34%。

基于改进掩膜区域卷积神经网络的输电线路绝缘子自爆检测

由于背景复杂、目标所占像素比例较小,掩膜区域卷积神经网络(Mask R-CNN)模型对输电线路绝缘子缺陷检测能力不足,该文提出一种改进的MaskR-CNN模型。具体地,首先,在特征提取网络中引入卷积注意力模块(CBAM),分别从通道和空间提升小目标特征保持性;其次,使用全局交并比(GIoU)计算目标间的相似度,提升定位准确性;最后,使用Tversky损失计算掩膜分支的损失,以提升不平衡样本下的检测效果。使用某输电运检中心无人机巡检作业所得具有自爆缺陷的绝缘子照片作为数据集对该模型进行验证,实验结果表明,与原始Mask R-CNN模型相比,该方法的平均精确率AP50:90、AP50和AP75分别提升至0.56、0.79和0.72;与三种经典目标检测算法相比,该算法具有较高的检测精度,模型的分割性能有一定提升,且比原始模型具有更好的鲁棒性,可以满足电力巡检中准确性和快速性的要求。