基于注意力与多级特征融合的YOLOv5算法

针对复杂场景下目标检测与识别精度较低的问题,提出了一种基于注意力与多级特征融合的YOLOv5目标检测与识别算法。该算法在传统YOLOv5s模型的主干网络中引入双空间方向的金字塔切分注意力机制,增强对特征空间和通道信息的学习能力,同时在瓶颈网络中采用多级特征融合结构,对不同分支的特征进行融合,增加特征的丰富性,提升应对复杂场景的能力。此外,利用C3Ghost模块和深度可分离卷积分别替换C3模块和普通卷积,降低网络参数量和复杂度。结果表明:与传统的YOLOv5s算法相比,所提算法在VOC2007+2012数据集的均值平均精度高达85%,在智能零售柜商品识别数据集的均值平均精度高达97.2%,表现出较好的性能。

融合多级特征与注意力机制的路面裂缝检测

针对深度学习模型应用在道路裂缝检测时,存在裂缝提取不完整及检测速度慢等问题,提出了一种基于ResNet34骨干网络并结合通道注意力和空间注意力机制对特征图进行多级特征融合学习的算法。提出的算法由特征提取网络、多级特征融合模块构成,能够生成清晰准确的裂缝分割图像。其中,特征提取网络提取三原色(RGB)图像的分层级特征,多级特征融合模块学习ResNet34分层级特征信息,且各层的输出采用分层监督方式引导网络快速训练。为证明网络的有效性,在公开裂缝数据集上进行了测试,测试结果显示提出的算法在F1、平均交并比(MIoU)和帧率(FPS)上均超过了其他经典网络。

多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断.针对CNN提取全局特征能力弱,Transformer提取局部特征能力弱,以及Transformer具有二次方计算复杂度的问题,提出了用于多器官医学图像分割的多级特征交互Transformer模型.所提模型采用CNN提取局部特征,局部特征经Swin Transformer输出全局特征;通过下采样分别产生多级局部和全局特征,每级局部和全局特征经过交互并增强;每级增强后的特征经多级特征融合模块进行交叉融合;再次融合后的特征经过上采样和分割头输出分割掩码.所提模型在Synapse和ACDC数据集上进行实验,平均DSC和平均HD95系数值为80.16%和19.20 mm,均优于LGNet和RFE-UNet等代表性模型.该模型对多器官医学图像分割是有效的.

多级特征融合的掩码自编码声纹识别方法

基于AudioMAE的自监督声纹识别具有良好的泛化性且不需要大量标注数据,但在重构原始梅尔频谱图时,AudioMAE仅使用编码器最后一层的输出,而忽略了编码器浅层包含的特征信息。为了解决这个问题,本文提出一种多级特征融合策略,首先将浅层的特征经过投影层与最后一层特征进行对齐,然后使用动态权重策略融合不同层级的特征,最后将融合后的特征送到解码器进行重构。实验的结果显示,本文方法在top1分类准确率上达到了95.95%,在top5分类准确率上达到了98.44%,较原始的AudioMAE分别提升了0.68%和0.24%。

中国古画渐进式多级特征修复算法

针对中国古画图像修复后的结果图像内容不一致、存在明显人工痕迹、修复区域的细节信息丢失和修复后的内容模糊等问题,提出利用绘画图像的多级语义特征渐进式地修复中国古画的算法.将中国古画的修改过程分为5个阶段,分别从宏观、中观和微观的语义层面渐进式地修复古画图像.首先关注高抽象级别的语义信息和大尺度的结构信息;然后逐渐地将注意力转移到越来越精细的尺度上,而不必同时学习所有尺度的信息,由古画的高层的语义特征渐进式地向较低层的语义特征的修复.依据11位作家共197幅高清数字化古画制作了山水画、街景画、花鸟画和人物画4个数据集,在这4个数据集上的实验结果表明,所提算法在PSNR,SSIM,IS,FID等指标上的结果优于一步到位的修复算法.

基于多级特征融合的红外图像多目标分割研究

为解决采用单一特征分割红外图像多目标时,分割精度过低的问题,提出基于多级特征融合的红外图像多目标分割方法。分别提取红外图像的熵特征、对比度特征和梯度特征,采用并行加权特征融合方法融合所提取的红外图像的多级特征,构建红外图像的多级特征融合空间,设置红外图像的多级特征融合空间作为Mean-shift算法的遍历空间,对多级特征融合空间内的全部特征点实施均值漂移处理,获取红外图像多目标分割结果。实验结果表明,该方法可以利用所提取红外图像的多级特征,分割红外图像的多目标,红外图像多目标分割精度高达99.5%。

结合多级特征融合和高效注意力的跟踪算法

在光照变化、形状变化、运动模糊等复杂场景下,现有的目标跟踪算法很容易跟踪失败,为了解决这些问题,一些跟踪算法尝试引入全局注意力来增强特征表达以提高准确率,但这需要消耗大量的计算资源。提出一种结合多级特征融合和高效注意力的目标跟踪算法SiamEff(Siamese efficient network),使全局注意力能在耗费少量计算资源的前提下提高准确率。使用无锚框机制以避免基于锚框的跟踪算法对大量超参的敏感问题;引入一种比传统全局注意力更加高效的注意力机制,大大降低内存和运算量的需求,并融合了低层和高层的多级特征,充分利用不同层次的特征信息提高跟踪性能;引入了中心度约束,以减少低质量预测框的干扰。在公开测试平台OTB100和VOT2018上进行了测试,结果表明SiamEff的跟踪性能优于主流跟踪算法,在各种复杂场景下更加鲁棒和准确,且跟踪速度达到150 FPS。

基于多级特征全局一致性的多焦距图像融合去雾方法

雾气是降低多焦距图像清晰度的重要影响因素之一,为了最大程度地提高图像质量,提出基于多级特征全局一致性的多焦距图像融合去雾方法。考虑多焦距图像成像的环境因素,构建大气散射退化模型。在IMF分量融合规则支持下,融合多焦距图像样本,从纹理和颜色两个方面提取图像特征。计算多焦距图像环境光与透射率作为去雾参数,根据局部特征与全局特征差异,完成图像多级特征一致性转换,实现多焦距图像的融合去雾。实验结果表明,所提方法有效去雾系数提升了0.21,图像的对比度和信息熵分别提升了2.6和2.7 bit,即所提方法在多焦距图像去雾方面具有较好的应用效果。

基于多级特征融合和时域扩展的行为识别方法

近年来,基于图卷积网络的行为识别是计算机视觉领域的研究热点。然而,现有的图卷积行为识别方法忽略了肢体层面的动作特征,使得行为空间特征提取不准确。此外,这些方法缺乏在间隔帧间进行时序动态建模的能力,导致行为时域特征表达不充分。针对上述问题提出一种基于多级特征融合和时域扩展的图卷积网络行为识别方法。该方法通过多级融合模块提取与融合低层次的关节特征和高层次的肢体特征,从而得到判别性更强的多层级空间特征。同时通过时域扩展模块从相邻帧、间隔帧中学习丰富的多尺度时域特征,增强行为特征的时序表达。在三个大型数据集(NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton)上的实验结果表明,所提方法的识别准确度高于现有行为识别方法。

基于强化语义流场和多级特征融合的道路场景分割方法

自动驾驶是目前计算机视觉任务中难度较大的一类任务,而道路场景下的语义分割是自动驾驶的核心技术之一。本文针对经典分割网络中分辨率恢复方式简单,导致细节信息不完整、目标边缘模糊的问题,提出一种基于强化语义流场的上采样方法。该方法通过学习相邻特征图之间的语义流场,使生成图语义信息更细致,边界处更清晰。同时针对道路场景中目标尺度变化处理困难、小目标难以识别的问题,提出一种新的多级特征融合方法,充分融合深层语义信息与浅层细节信息,以适应不同尺度的目标。本文采用CamVid为数据集进行实验,并进行数据增强。实验表明本文提出的两种方法均显著提升了准确度,整体网络与PSPNet、Deeplabv3+等多种模型相比,准确率更高,分割效果更接近真实值。

不变矩稳定性及基于多级特征模型的目标识别研究

从成像过程和实际应用角度研究影响目标不变矩稳定性的各种因素 ,包括有限观测区域、高斯模糊和离散化处理以及在这些因素影响下不变矩的变化规律和误差 .理论分析和实验还证明各不变矩自身的稳定特性不仅与阶数而且与其次数有关 .这些研究和分析表明建立多尺度目标特征模型的必要性 。

多级特征融合下的高精度语义分割方法

为解决图像语义分割中边缘分割模糊与小目标物体分割不精细的问题,提出了一种高精度语义分割方法。该方法利用MobileNetV3网络,提取多级的浅层轮廓特征和深层语义特征,通过PSP-Net模型中的金字塔池化模块和上采样操作,将多级浅层的轮廓特征信息与深层的语义特征信息进行融合,实现了多级特征融合的高精度图像语义分割。在Nyu-V2数据集上实验的结果表明,该算法明显提高了对小目标特征的描述能力。在Pascal-VOC2012数据集上进一步验证了该算法的泛化性。与3种主流方法进行了实验对比,该算法的分割精度相比Deeplabv3+提高了2.1%,相比PSP-Net提高了5.1%,相比SEG-Net提高了10.9%。

面向生活垃圾图像分类的多级特征加权融合算法

生活垃圾的有效分类处理是改善社会环境的一项重要措施,传统的垃圾分类算法已经不能满足当前垃圾分类的要求。为了提高生活垃圾分类性能,在深入研究卷积神经网络中不同层次具有不同特征的基础上,提出一种面向生活垃圾图像分类的多级特征加权融合算法。构建基于ResNet的特征提取网络,通过多分支网络结构提取并处理图像不同层次的特征信息,在特征融合过程中分析自适应权重融合和固定权重融合对图像分类性能的影响,选取更优的加权融合方法对多级特征进行融合,从而获取更丰富的生活垃圾图像特征信息,提高垃圾分类准确率。实验结果表明,该算法在华为生活垃圾图像数据集上的分类准确率最高可达97.53%,优于其他算法,具有一定的实用价值。

面向模糊多级特征的F-MEWMA控制图研究

围绕难以定量测量、但可以分级量化的质量特性,在实施统计过程控制中所遇到的检出力受限问题展开讨论,提出模糊多变量指数加权移动平均控制图(F-MEWMA)方法.该方法借助于模糊理论,对分级量化特征进行模糊化处理.针对不同α截集包含信息量多寡的问题,提出应用加权α截集模糊区间值来构造统计量,分别针对模糊单变量和模糊多变量质量特性进行数学表征与比较分析.采用Matlab仿真的方式确定不同权重系数和不同维数下的控制限,完成F-EWMA、F-MEWMA的设计.采用Matlab仿真的方法,以识别变异的概率为评价指标对FMEWMA的监控效果进行分析.以电能表潜动和起动的质量特性为例,对提出的方法进行应用,取得了较好的应用效果.

基于注意力和多级特征融合的铁路场景小尺度行人检测算法

行人入侵是影响铁路行车安全的重要因素。为有效解决短焦距摄像机在大视场中小尺度行人检测精度低的问题,提出一种注意力机制引导下的多级特征融合网络模型。首先,将YOLOv3作为主干网络,针对多次降采样后行人特征丢失的问题,设计四倍降采样分支以利用高分辨率特征有效提取小尺度行人信息。其次,特征融合阶段引入通道-空间注意力机制以抑制低层特征中背景噪声干扰。最后,引入CIoU损失函数用于行人目标框的回归,解决均方误差损失函数存在的优化不一致及尺度敏感问题。实验结果表明,相较于经典YOLOv3以及现阶段主流目标检测算法,本算法具有更高的检测精度,在自建铁路私有数据集和Caltech公开数据集的各子集上对数平均漏检率均有明显降低。

利用可分离卷积和多级特征的实例分割

实例分割是一项具有挑战性的任务,它不仅需要每个实例的边界框,而且需要精确的像素级分割掩码.最近提出的端到端的全卷积实例感知分割网络(FCIS)在检测与分割的结合方面做得很好.但是,FCIS没有利用低层特征,而低层次的特征信息在检测和分割上都证明是有用的.在FCIS的基础上,提出了一种新的模型,充分利用了各层次的特征,并对实例分割模块进行了优化.该方法在检测分支中使用了具有大型卷积核的可分离卷积来获得更精确的边界框.同时,设计了一个包含边界细化操作的分割模块,以获得更精确的掩模.此外,将Resnet-101网络中的低级、中级和高级特征组合成4个不同级别的新特征,每个新特征都被用于生成实例的掩码.这些掩码被相加之后通过进一步细化以产生最终的最精确的掩模.通过这3项改进,实验结果表明,该方法明显优于基线方法 FCIS,相比于FCIS,该方法在PASCAL VOC数据集上的评测指标mAP^r@0.5和mAP^r@0.7分别提高了4.9%和5.8%.

采用多级特征的多标签长文本分类算法

针对现有多标签分类算法忽略了标签之间的内生关系,将多标签分类问题转化为序列生成问题,充分考虑标签之间的共生关系,以Seq2Seq模型为基础,从词语级别和语义级别两个维度提取文本特征,通过对特征提取模块、编码器结构、混合注意力机制、解码器预测部分的改进,提出了基于多级特征和混合注意力机制的多标签分类算法。在Zhihu、RCV1-V2和AAPD三个数据集上进行算法有效性验证并与现有算法对比,提出的算法在F1值、召回率和汉明损失三个指标上均优于其他算法。

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力;接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC 2007和PASCAL VOC 2012数据集上进行了训练和测试,对于320×320的图片输入,平均精度均值(mean average precision,mAP)分别为80.48%和77.3%,检测速度为81.7FPS。结果表明:本文算法能有效提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。

基于多级特征整合的图像语义分割研究

传统的全卷积神经网络由于不断的池化和下采样操作使得最后的特征热点图分辨率损失严重,导致了分割结果的细节刻画能力的缺失,为了弥补这一缺陷,往往通过跳跃连接融合中层的特征图以恢复空间信息.由于无法充分利用网络的低层特征信息,传统全卷积网络的特征融合阶段存在相当的缺陷,本文对这一现象进行了深入的分析.本文在上采样路径之前采用基于特征金字塔的特征信息增强方法,克服了浅层特征图语义信息匮乏这一缺点,使得整个网络能更充分的利用前向计算产生的特征图,输出的分割结果也更为精确.本文提出的算法在Pascal VOC数据集上取得了75.8%的均像素精度和83.9%的权频交并比,有效的提高了分类精度.

基于深度可分离卷积和多级特征金字塔网络的行人检测

为提高行人检测的准确率,提出一种基于卷积神经网络的行人检测方法。该方法以YOLOv3-tiny算法为基础,在骨干网络部分,用深度可分离卷积的网络结构代替原卷积网络结构,加深网络深度。在检测部分,提出一种改进的多级特征金字塔网络,该网络由8个结构相同的使用深度可分离卷积的特征金字塔组成,特征金字塔之间串联连接,将不同金字塔得到的相同尺寸的特征进行融合,利用融合后的特征金字塔进行检测。在Caltech Pedestrian数据集上进行测试。结果表明:该方法的漏检率为57.83%,比梯度方向直方图(HOG)方法低32.53%,比基于深度学习的方法SA Fast-RCNN和MS-CNN分别低4.67%、3.21%;运行速度为34 ms/帧。因而,该方法满足了实时性要求。