多尺度增强特征融合的钢表面缺陷目标检测

针对轻量级目标检测算法在钢表面缺陷检测任务中识别精度低的问题,提出一种多尺度增强特征融合的钢表面缺陷目标检测算法。该算法采用提出的自适应加权融合模块为不同层级特征自适应计算融合权重,将深层语义与浅层细节进行加权融合,使得浅层特征在不丢失细节信息的同时获得丰富的深层语义。利用提出的空间特征增强模块从3个独立方向强化融合特征,通过引出残差旁路增强网络结构的稳定性,使卷积过程能够挖掘到更多的关键信息。根据先验框与真实框的整体交并程度为模型选择更为合适的训练样本。实验结果表明,该算法的检测精度达到80.47%,相比原始算法提升6.81%。该算法的参数量为2.36 M,计算量为952.67 MFLOPs,能快速且高精度检测钢材表面的缺陷信息,具有较高的应用价值。

基于增强全局-局部特征融合的视频描述生成方法

现有的视频描述生成方法提取的特征及特征组合的方式较为简单,导致模型丢失了部分与视频描述相关的重要语义信息,限制了对视频内容的准确描述和理解。分析存在的不足,提出了一种基于增强全局-局部特征融合的视频描述生成方法。首先采用不同特征提取器分别对视频片段提取局部特征和全局特征,为了建模不同级别特征(局部和全局)的相关性,利用特征融合增强网络进行特征融合,丰富模型的特征信息。解码器使用的双向长短期记忆网络,并在其后加入重构网络,重构经编码器处理得到的视频特征序列,最终经过长短期记忆网络生成视频的描述语句。在MSVD与MSR-VTT数据集上的实验结果表明,提出的模型可以显著提高生成的描述语句的准确性。

基于多级特征增强融合的红外飞机目标检测方法

红外飞机目标检测识别在无人侦察、目标制导以及航班监控等领域有广阔的应用前景。为解决红外飞机目标检测识别中目标可用特征少、类间差异小导致的精确识别难度高的问题,提出了一种基于多级特征增强融合的网络模型(MFEFNet)。首先,设计了一种局部与全局特征增强融合模块(LGFE),模块通过设计坐标注意力机制和全局像素注意力机制将深层语义特征和底层细节特征进行增强融合,以自顶向下方式实现深层语义动态指导底层局部特征增强,进而自适应强化网络对红外飞机目标信息的表征;然后,设计了一种全局拓展模块(GEM),在特征金字塔的基础上进一步聚合中间特征图多尺度上下文信息,提高网络对多类别目标的鉴别能力;最后,将GEM模块和LGFE模块进行级联,保持特征长距离依赖关系,产生联合效应,进一步提高网络对目标的表征能力和分类决策能力,有效解决红外飞机目标特征缺失以及类间差异小等问题。此外,本文基于迁移开发了新的地面红外飞机数据集,并通过Gram距离分析了迁移数据与真实红外数据在特征层面上的一致性。在地面红外飞机数据集上的实验结果表明:MFEFNet各个模块是有效的,与其他先进算法相比,本算法对地面红外飞机目标识别的平均均值精度(mAP)提升4.3%以上,识别精确度取得了明显优势。

句法特征融合增强的方面级情感分析

方面级情感分析是情感分析领域的一项关键任务,其目的是分析目标文本中各个方面的情感极性.句法依存树曾被广泛用于方面级情感分析任务中,目前的特征提取和交互方式仅限单一特征级,未能充分利用句法依存树上的有效信息.针对该问题,提出了一种基于句法依存树的多级特征提取算法来建立方面级情感分析模型.首先利用深度优先搜索得出句子的浅层特征表示,然后通过划分子图改进传统图卷积神经网络的建模方式来提取句子的深层特征表示,最终融合多级特征的句子表示并进行情感分类.在4个开放数据集上分类准确率都取得1.64%~2.12%的提升,F1值取得2.24%~4.97%的提升.实验结果表明基于该方法建模能获取更充分的多层句法特征信息、有效提高分类效果.

基于增强特征融合网络的行人重识别方法

针对行人重识别技术受遮挡、背景冗余、光照、姿态以及检测误差等问题的影响,鲁棒的行人特征表达对正确检索行人越来越重要.为了利用对齐特征和度量学习的优势,进一步分析局部空间语义特征.首先,在特征层面:一是在ResNet50框架中嵌入空间变换结构,自适应对齐局部区域空间特征,解决因局部区域不对齐导致的空间语义不一致的问题;二是通过对齐的局部特征设计一种增强特征融合网络,充分利用语义信息间的关联性提取图像的细节特征.然后,在损失函数层面:提出一种排序矩阵方法选取区域样本对,设计了一种局部三元组损失计算方法,联合正则化分类损失共同训练网络,充分利用融合的增强特征,达到高效度量的效果.最后,文中方法结合现有的重排算法进一步提高了Rank-1与mAP检索精度,在行人重识别基准数据集Market-1501上的实验结果,证明了本文方法的有效性.

基于特征增强的RGB-D显著性目标检测

显著性目标检测方法中,深度(Depth)信息的引入能弥补RGB图像缺失的空间信息,有助于从复杂的背景中检测显著目标,提升检测精度。但如何有效融合跨模态特征、获取清晰的边界是值得研究的问题。该文设计了一个基于特征增强的RGB-D显著性目标检测网络FENet(Feature Enhancement Network),首先由特征融合增强模块(Feature Fusion Enhancement Model,FFEM),通过交叉融合和混合空间/通道注意力充分利用跨模态特征的相关性和互补性提取高级语义信息,然后通过边界特征增强模块(Boundary Feature Enhancement Model,BFEM)对浅层细节信息进行补充,并引入门控避免低质量底层信息的干扰,最后通过混合增强损失函数来完成模型对显著区域和边界的学习。FENet模型在五个公开数据集上和当前较为先进的模型相比,有效提升了检测性能,尤其在显著物体的边缘细化和完整性检测上。

基于亮度评估技术的特征增强衍生图融合算法

针对由动态范围,光照条件,图像捕获设备等因素获得的低亮度图像,提出了一种基于亮度评估技术的特征增强衍生图融合算法来实现亮度较暗图像的对比度调整和特征增强.首先,利用亮度评估技术对低亮度图像的亮度进行评估优化处理,得到曝光率映射;然后,结合曝光率映射和改进的卡方分布函数模型来获取两幅特征增强的衍生图进行融合.最后,利用改进的衍生图融合算法得到最终融合图像.实验结果表明,所提算法的亮度误差,视觉信息保真度,图像互信息等评估参数优于近期方法,在提升图像对比度同时保留了图像良好曝光率区域,并较好地恢复了低亮度区域的边缘以及纹理等细节信息.

基于Att-DConv的遥感舰船检测方法研究

针对遥感影像的舰船目标检测问题,提出了一种基于深度学习的舰船检测模型。首先利用空洞卷积组与通道注意力模块构成骨干网络,然后对所有特征提取层输出的不同尺度特征图进行拼接,再以融合后特征层分别进行上、下采样的方式构建了4个检测尺度的特征增强网络,最后采用改进的NMS算法优化最终的检测框输出。利用开源数据集UCMerced_LandUse与FAIR1M混合数据集对模型进行训练和测试,利用多种图像增强算法优化训练集质量,采用马赛克处理获取正样本更多的训练影像,并在未经处理的原始影像上进行测试。结果表明,该模型的精度均值可达0.91,检测速度可达34 f/s,对于不同复杂程度背景和尺度的舰船样本具有稳定的检测能力。

基于双语义双向对齐VAE的广义零样本学习

广义零样本学习(GZSL)旨在利用视觉特征和语义信息之间的关系来同时识别可见类和不可见类。现有的大部分方法使用生成模型生成不可见类的伪视觉特征,但一般采用单向对齐VAE且语义原型种类单一,导致不可见类的语义信息非常有限。因此,提出了一种基于双语义双向对齐变分自编码器的广义零样本学习模型,首先采用户定义的属性和词向量两种语义原型,基于双向对齐的VAE分别稳定地生成2种伪视觉特征来获取丰富的语义信息;然后,设计了特征融合模块对2种伪视觉特征进行有效融合,并去除其中的冗余信息,增强伪视觉特征表示;最后,采用分类正则化进一步增强伪视觉特征的类别独立性。在3个基准数据集上进行了大量实验,并与相关算法模型进行了比较,结果表明了该模型的有效性。

融合多尺度特征与全局上下文信息的X光违禁物品检测

目的X光图像违禁物品检测一直是安检领域的一个基础问题,安检违禁物品形式各异,尺度变化大,以及透视性导致大量物体堆放时出现重叠遮挡现象,传统图像处理模型很容易出现漏检误检,召回率低。针对以上问题,提出一种融合多尺度特征与全局上下文信息的特征增强融合网络(feature enhancement fusion network,FEFNet)用于X光违禁物品检测。方法首先针对特征主干网络darknet53,加入空间坐标的注意力机制,将位置信息嵌入到通道注意力中,分别沿两个空间方向聚合特征,增强特征提取器对违禁目标的特征提取能力,抑制背景噪声干扰。然后,将特征提取主干网络输出的特征编码为1维向量,利用自监督二阶融合获取特征空间像素相关性矩阵,进而获取完整的全局上下文信息,为视觉遮挡区域提供全局信息指导。针对违禁物品尺度不一的问题,提出多尺度特征金字塔融合模块,增加一层小感受野预测特征用于提高对小尺度违禁目标的检测能力。最后,通过融合全局上下文特征信息和局部多尺度细节特征解决违禁物品之间的视觉遮挡问题。结果在SIXRay-Lite(security inspection X-ray)数据集上进行训练和验证,并与SSD(single shot detection)、Faster R-CNN、RetinaNet、YOLOv5(you only look once)和ACMNet(asymmetrical convolution multi-view neural network)模型进行了对比实验。结果表明,本文模型在SIXray-Lite数据集上的mAP(mean average precision)达到85.64%,特征增强融合模块和多尺度特征金字塔融合模块较原有模型分别提升了6.73%和5.93%,总体检测精度较原有检测网络提升了11.24%。结论提出的特征增强融合检测模型能够更好地提取显著差异特征,降低背景噪声干扰,提高对多尺度以及小型违禁物品的检测能力。同时利用全局上下文特征信息和多尺度局部特征相结合,有效地缓解了违禁物品之间的视觉遮挡现象,在保证实时性的同时有效地提高了模型的整体检测精度。

改进Yolo V3算法在工件缺陷检测中的应用

为快速、准确地检测工业生产中工件表面产生的缺陷,提出了一种基于Yolo V3的工件表面缺陷检测方法。该方法以DarkNet卷积模型作为特征提取网络,通过引入数据增强方法防止产生过拟合现象,并针对工件表面缺陷形状单一、缺陷尺寸普遍偏小的特点改进了Yolo V3网络的特征融合方式,减少了冗余候选框的数量,提升了算法性能。以环形工件作为检测对象搭建了实验平台。实验结果表明,所提方法能克服人工提取特征的局限性,检测精度和检测速度均满足实际生产要求。