DB-YOLO:特征增强融合的双骨干YOLOv8道路缺陷检测模型

虽然已经提出了许多基于深度学习的道路缺陷检测方法,但这些方法通常忽略了一些道路缺陷检测任务中非常重要的道路缺陷相关的边缘特征信息。为了充分利用这些边缘特征信息,提出了一种改进的双骨干YOLOv8模型(dual backbone YOLOv8 model,DB-YOLO)用于道路缺陷检测。设计了边缘特征提取模块(edge feature extraction model,EFEM)用于过滤图像低频信息,提取图像高频边缘信息。设计了双骨干网络来提取特征,在原模型基础上增加一个边缘特征骨干网络(edge feature backbone,EFB),对EFEM提取的图像高频边缘信息进行处理,提取边缘特征,为道路缺陷检测提供更丰富的特征。提出了一种新的特征增强融合模块(feature enhancement fusion module,FEFM)用于融合各种特征,并采用多个FEFM模块将边缘特征、不同级别的图像特征进行有机融合。引入Label smoothing策略减弱了数据集中标签质量的影响,增强了模型的泛化能力,进一步提升模型的检测精度。实验结果表明,在GRDDC2020数据集上,DB-YOLO_v8s的mAP和F1分别取得56.42%、56.13%,较YOLO_v8s分别提升了1.3和1.96个百分点,检测速度达到了64.94帧/s,满足实时检测要求。此外,DB-YOLO_v8s在官方测试集Test_1和Test_2上的F1分数分别为58.79%和58.52%,与其他方法相比,在两个测试数据集中F1分别高了0.65和1.37个百分点。因此,提出的模型可以提升道路缺陷检测精度。

多尺度增强特征融合的钢表面缺陷目标检测

针对轻量级目标检测算法在钢表面缺陷检测任务中识别精度低的问题,提出一种多尺度增强特征融合的钢表面缺陷目标检测算法。该算法采用提出的自适应加权融合模块为不同层级特征自适应计算融合权重,将深层语义与浅层细节进行加权融合,使得浅层特征在不丢失细节信息的同时获得丰富的深层语义。利用提出的空间特征增强模块从3个独立方向强化融合特征,通过引出残差旁路增强网络结构的稳定性,使卷积过程能够挖掘到更多的关键信息。根据先验框与真实框的整体交并程度为模型选择更为合适的训练样本。实验结果表明,该算法的检测精度达到80.47%,相比原始算法提升6.81%。该算法的参数量为2.36 M,计算量为952.67 MFLOPs,能快速且高精度检测钢材表面的缺陷信息,具有较高的应用价值。

基于增强全局-局部特征融合的视频描述生成方法

现有的视频描述生成方法提取的特征及特征组合的方式较为简单,导致模型丢失了部分与视频描述相关的重要语义信息,限制了对视频内容的准确描述和理解。分析存在的不足,提出了一种基于增强全局-局部特征融合的视频描述生成方法。首先采用不同特征提取器分别对视频片段提取局部特征和全局特征,为了建模不同级别特征(局部和全局)的相关性,利用特征融合增强网络进行特征融合,丰富模型的特征信息。解码器使用的双向长短期记忆网络,并在其后加入重构网络,重构经编码器处理得到的视频特征序列,最终经过长短期记忆网络生成视频的描述语句。在MSVD与MSR-VTT数据集上的实验结果表明,提出的模型可以显著提高生成的描述语句的准确性。

基于多级特征增强融合的红外飞机目标检测方法

红外飞机目标检测识别在无人侦察、目标制导以及航班监控等领域有广阔的应用前景。为解决红外飞机目标检测识别中目标可用特征少、类间差异小导致的精确识别难度高的问题,提出了一种基于多级特征增强融合的网络模型(MFEFNet)。首先,设计了一种局部与全局特征增强融合模块(LGFE),模块通过设计坐标注意力机制和全局像素注意力机制将深层语义特征和底层细节特征进行增强融合,以自顶向下方式实现深层语义动态指导底层局部特征增强,进而自适应强化网络对红外飞机目标信息的表征;然后,设计了一种全局拓展模块(GEM),在特征金字塔的基础上进一步聚合中间特征图多尺度上下文信息,提高网络对多类别目标的鉴别能力;最后,将GEM模块和LGFE模块进行级联,保持特征长距离依赖关系,产生联合效应,进一步提高网络对目标的表征能力和分类决策能力,有效解决红外飞机目标特征缺失以及类间差异小等问题。此外,本文基于迁移开发了新的地面红外飞机数据集,并通过Gram距离分析了迁移数据与真实红外数据在特征层面上的一致性。在地面红外飞机数据集上的实验结果表明:MFEFNet各个模块是有效的,与其他先进算法相比,本算法对地面红外飞机目标识别的平均均值精度(mAP)提升4.3%以上,识别精确度取得了明显优势。

基于增强特征融合网络的行人重识别方法

针对行人重识别技术受遮挡、背景冗余、光照、姿态以及检测误差等问题的影响,鲁棒的行人特征表达对正确检索行人越来越重要.为了利用对齐特征和度量学习的优势,进一步分析局部空间语义特征.首先,在特征层面:一是在ResNet50框架中嵌入空间变换结构,自适应对齐局部区域空间特征,解决因局部区域不对齐导致的空间语义不一致的问题;二是通过对齐的局部特征设计一种增强特征融合网络,充分利用语义信息间的关联性提取图像的细节特征.然后,在损失函数层面:提出一种排序矩阵方法选取区域样本对,设计了一种局部三元组损失计算方法,联合正则化分类损失共同训练网络,充分利用融合的增强特征,达到高效度量的效果.最后,文中方法结合现有的重排算法进一步提高了Rank-1与mAP检索精度,在行人重识别基准数据集Market-1501上的实验结果,证明了本文方法的有效性.

基于光照感知和特征增强的可见光-热红外图像语义分割

在智能光电设备中,基于人工智能的可见光-热红外(Red Greed Blue-Thermal, RGB-T)图像语义分割任务可以广泛应用于自动驾驶、无人机航拍、视频监控等。图像的光照信息能在一定程度上反映场景中图像局部区域信息的可靠性,利用光照先验信息有助于进一步提高语义分割的性能。基于此,提出一种基于光照感知和特征增强的RGB-T图像语义分割模型,通过挖掘光照先验信息并结合注意力机制,引导网络在多模态图像特征融合过程中更加关注可靠信息的提取,同时抑制干扰信息的引入。实验在MFNet数据集上与最新的12种方法进行了比较,相比于性能第2的模型,mAcc提高了5.4%,mIoU提高了1.0%。所提网络模型能够获得更准确的分割结果,并通过定性定量实验验证所提模型及各个模块的有效性。

句法特征融合增强的方面级情感分析

方面级情感分析是情感分析领域的一项关键任务,其目的是分析目标文本中各个方面的情感极性.句法依存树曾被广泛用于方面级情感分析任务中,目前的特征提取和交互方式仅限单一特征级,未能充分利用句法依存树上的有效信息.针对该问题,提出了一种基于句法依存树的多级特征提取算法来建立方面级情感分析模型.首先利用深度优先搜索得出句子的浅层特征表示,然后通过划分子图改进传统图卷积神经网络的建模方式来提取句子的深层特征表示,最终融合多级特征的句子表示并进行情感分类.在4个开放数据集上分类准确率都取得1.64%~2.12%的提升,F1值取得2.24%~4.97%的提升.实验结果表明基于该方法建模能获取更充分的多层句法特征信息、有效提高分类效果.

基于亮度评估技术的特征增强衍生图融合算法

针对由动态范围,光照条件,图像捕获设备等因素获得的低亮度图像,提出了一种基于亮度评估技术的特征增强衍生图融合算法来实现亮度较暗图像的对比度调整和特征增强.首先,利用亮度评估技术对低亮度图像的亮度进行评估优化处理,得到曝光率映射;然后,结合曝光率映射和改进的卡方分布函数模型来获取两幅特征增强的衍生图进行融合.最后,利用改进的衍生图融合算法得到最终融合图像.实验结果表明,所提算法的亮度误差,视觉信息保真度,图像互信息等评估参数优于近期方法,在提升图像对比度同时保留了图像良好曝光率区域,并较好地恢复了低亮度区域的边缘以及纹理等细节信息.

基于特征增强的RGB-D显著性目标检测

显著性目标检测方法中,深度(Depth)信息的引入能弥补RGB图像缺失的空间信息,有助于从复杂的背景中检测显著目标,提升检测精度。但如何有效融合跨模态特征、获取清晰的边界是值得研究的问题。该文设计了一个基于特征增强的RGB-D显著性目标检测网络FENet(Feature Enhancement Network),首先由特征融合增强模块(Feature Fusion Enhancement Model,FFEM),通过交叉融合和混合空间/通道注意力充分利用跨模态特征的相关性和互补性提取高级语义信息,然后通过边界特征增强模块(Boundary Feature Enhancement Model,BFEM)对浅层细节信息进行补充,并引入门控避免低质量底层信息的干扰,最后通过混合增强损失函数来完成模型对显著区域和边界的学习。FENet模型在五个公开数据集上和当前较为先进的模型相比,有效提升了检测性能,尤其在显著物体的边缘细化和完整性检测上。

多尺度特征融合增强的行人翻越护栏检测

针对行人翻越护栏检测在遮挡、多目标密集以及多人翻越的复杂场景下出现的漏检、误检和检测精度低的问题,提出了一种多尺度特征融合增强的行人翻越护栏检测算法。首先,设计了一种基于Dual Vision Transformer和SCConv构建的SCDVT模块,应用于主干网络,增强了对全局上下文信息和更细粒度信息的捕获,提升了网络的局部精细特征提取和特征融合能力;其次,提出多尺度特征融合增强模块AM-SPPFCSPC,弥补了最大池化带来的特征损失,提高了特征图的丰富性和完整性,增强了多尺度特征提取和特征融合能力;另外,对特征融合层再进行细化,使用GSConv替换普通卷积,并基于GSConv和SCConv设计了VOV-GSCCSP模块,有效的降低了计算成本和模型的复杂度,同时又保持较高的精度;最后在主干引入高效多尺度注意力EMA,减少了复杂背景下无关目标的干扰,融合了多尺度信息,实现了更丰富的特征聚合。在自制行人翻越护栏数据集上的实验结果表明,本文所提算法在增加较少参数量的情况下,其mAP达到了93.6%,较原模型提高了4.5%,并且检测速度为108.5 FPS,改善了漏检、误检和检测精度低的问题,同时仍具有较高的实时性,更适用于行人翻越护栏的实时性检测。

多尺度特征融合增强检测模型MFFE-YOLO

为解决传统巡检图像检测方法对电力设备小目标缺陷检测能力弱、错检和漏检率高、浅层网络语义信息不足等问题,提出针对电力设备小目标缺陷的多尺度特征融合增强检测模型(multi-scale feature fusion enhanced youonlylookonce,MFFE-YOLO)。该方法设计了一种多尺度特征融合增强机制(multi-scalefeaturefusion enhancement,MFFE),能够更全面地捕捉目标特征。研究表明:在C2f-EF模块中嵌入跨空间学习多尺度注意力机制EMA以及FasterNet Block,能够优化模型的运行效率;MFFE-YOLO方法的平均精度、参数量和帧率指标均优于其他方法,能够实现高精度与实时性之间的良好平衡。

基于Att-DConv的遥感舰船检测方法研究

针对遥感影像的舰船目标检测问题,提出了一种基于深度学习的舰船检测模型。首先利用空洞卷积组与通道注意力模块构成骨干网络,然后对所有特征提取层输出的不同尺度特征图进行拼接,再以融合后特征层分别进行上、下采样的方式构建了4个检测尺度的特征增强网络,最后采用改进的NMS算法优化最终的检测框输出。利用开源数据集UCMerced_LandUse与FAIR1M混合数据集对模型进行训练和测试,利用多种图像增强算法优化训练集质量,采用马赛克处理获取正样本更多的训练影像,并在未经处理的原始影像上进行测试。结果表明,该模型的精度均值可达0.91,检测速度可达34 f/s,对于不同复杂程度背景和尺度的舰船样本具有稳定的检测能力。

融合多尺度特征与全局上下文信息的X光违禁物品检测

目的X光图像违禁物品检测一直是安检领域的一个基础问题,安检违禁物品形式各异,尺度变化大,以及透视性导致大量物体堆放时出现重叠遮挡现象,传统图像处理模型很容易出现漏检误检,召回率低。针对以上问题,提出一种融合多尺度特征与全局上下文信息的特征增强融合网络(feature enhancement fusion network,FEFNet)用于X光违禁物品检测。方法首先针对特征主干网络darknet53,加入空间坐标的注意力机制,将位置信息嵌入到通道注意力中,分别沿两个空间方向聚合特征,增强特征提取器对违禁目标的特征提取能力,抑制背景噪声干扰。然后,将特征提取主干网络输出的特征编码为1维向量,利用自监督二阶融合获取特征空间像素相关性矩阵,进而获取完整的全局上下文信息,为视觉遮挡区域提供全局信息指导。针对违禁物品尺度不一的问题,提出多尺度特征金字塔融合模块,增加一层小感受野预测特征用于提高对小尺度违禁目标的检测能力。最后,通过融合全局上下文特征信息和局部多尺度细节特征解决违禁物品之间的视觉遮挡问题。结果在SIXRay-Lite(security inspection X-ray)数据集上进行训练和验证,并与SSD(single shot detection)、Faster R-CNN、RetinaNet、YOLOv5(you only look once)和ACMNet(asymmetrical convolution multi-view neural network)模型进行了对比实验。结果表明,本文模型在SIXray-Lite数据集上的mAP(mean average precision)达到85.64%,特征增强融合模块和多尺度特征金字塔融合模块较原有模型分别提升了6.73%和5.93%,总体检测精度较原有检测网络提升了11.24%。结论提出的特征增强融合检测模型能够更好地提取显著差异特征,降低背景噪声干扰,提高对多尺度以及小型违禁物品的检测能力。同时利用全局上下文特征信息和多尺度局部特征相结合,有效地缓解了违禁物品之间的视觉遮挡现象,在保证实时性的同时有效地提高了模型的整体检测精度。

改进Yolo V3算法在工件缺陷检测中的应用

为快速、准确地检测工业生产中工件表面产生的缺陷,提出了一种基于Yolo V3的工件表面缺陷检测方法。该方法以DarkNet卷积模型作为特征提取网络,通过引入数据增强方法防止产生过拟合现象,并针对工件表面缺陷形状单一、缺陷尺寸普遍偏小的特点改进了Yolo V3网络的特征融合方式,减少了冗余候选框的数量,提升了算法性能。以环形工件作为检测对象搭建了实验平台。实验结果表明,所提方法能克服人工提取特征的局限性,检测精度和检测速度均满足实际生产要求。

基于双语义双向对齐VAE的广义零样本学习

广义零样本学习(GZSL)旨在利用视觉特征和语义信息之间的关系来同时识别可见类和不可见类。现有的大部分方法使用生成模型生成不可见类的伪视觉特征,但一般采用单向对齐VAE且语义原型种类单一,导致不可见类的语义信息非常有限。因此,提出了一种基于双语义双向对齐变分自编码器的广义零样本学习模型,首先采用户定义的属性和词向量两种语义原型,基于双向对齐的VAE分别稳定地生成2种伪视觉特征来获取丰富的语义信息;然后,设计了特征融合模块对2种伪视觉特征进行有效融合,并去除其中的冗余信息,增强伪视觉特征表示;最后,采用分类正则化进一步增强伪视觉特征的类别独立性。在3个基准数据集上进行了大量实验,并与相关算法模型进行了比较,结果表明了该模型的有效性。