多层特征融合与混合注意力的物体位姿估计

在工业机器人抓取过程中,针对物体无纹理、存在遮挡、场景杂乱的情况下的6D位姿精确估计问题,提出一种多层特征融合与混合空间通道注意力的物体6D位姿估计算法。设计了一种垂直连接的双向特征融合金字塔网络,实现多层特征融合,提升对目标关键点的检测性能。嵌入混合空间通道注意力机制,聚焦空间和通道两个维度上的特征信息,增强模型的局部表征能力。在LineMod数据集及Occlusion LineMod遮挡数据集上的实验结果表明所提出算法的优越性及有效性,且能够有效处理背景杂乱及遮挡问题。

基于位置感知和跨层特征融合的航拍小目标检测算法

针对航拍图像目标尺度小、背景复杂、漏检和误检严重,提出了一种基于位置感知和跨层特征融合的航拍小目标检测算法DC-YOLOv8s。DC-YOLOv8s新增小目标检测层,增强对小目标尺度的敏感性,提高检测精度。为了减少特征信息的丢失,设计了跨层特征融合模块,充分融合小目标浅层语义信息和深层语义信息,丰富特征表示。改进C 2f结构,结合可变性卷积设计了基于位置感知融入残差的感受野注意力模块,适应航拍小目标形状的变化,快速提取感受野特征,降低漏检和误检率。最后使用基于注意力机制的动态检测头在尺度感知、空间感知、任务感知方面提高复杂场景下小目标的定位性能。实验表明,在VisDrone2019数据集上,DC-YOLOv8s在P、R、mAP上相较于YOLOv8s分别提高了7.2%、7.5%、9.1%,显著提高了小目标检测的性能,FPS为71帧,满足实时性要求。在VOC2007+2012上进行模型泛化性实验验证,效果优于其他经典算法。

基于多层空间特征融合的三维人体姿态估计

在三维人体姿态估计任务当中,人体关节之间的连接关系形成了一种复杂的拓扑结构,利用图卷积网络对该结构进行建模,可以有效捕捉局部关节间的联系;尽管不相邻关节之间没有直接的物理连接,但由于人体的运动和姿态受到生物力学约束以及人体关节之间的协同作用,利用Transformer编码器建立关节之间的上下文关系,可以更好地推断出人体姿态;在大模型的背景下,如何在保证模型性能的同时,降低参数量,也显得尤为重要.针对上述问题,设计了一个基于图卷积和Transformer的多层空间特征融合网络模型(MLSFFN),在使用相对少量的参数基础上,有效地融合了局部和全局空间特征.实验结果表明,本文提出的方法在仅需2.1M参数量的情况下,在Human3.6M数据集上达到了49.9 mm的平均每关节误差(MPJPE).此外,模型在MPI-INF-3DHP数据集上也展示出了较强的泛化能力.

基于差分卷积和深浅层特征融合的表面缺陷分割

针对弱纹理情况下缺陷特征不明显和小目标缺陷分割准确性较低的问题,提出基于差分卷积和深浅层特征融合的表面缺陷分割方法。首先,基于差分卷积设计特征增强模块,对特征图进行特征增强;其次,在特征融合网络中将深浅层特征进行融合,对浅层网络中的细节特征和深层网络中的语义信息进行有效融合;最后分别采用NEU-Seg和MT-Magnetic数据集对本文方法和现有的代表性方法进行综合对比分析。结果表明:本文研究方法在NEU-Seg和MT-Magnetic数据集上分别实现85.2%、83.3%的分割精度,优于现有的代表性语义分割算法,证明该法可有效提升弱纹理和弱小缺陷的分割准确度,显著提高缺陷分割算法的精度。

结合跨层特征融合网络和非局部的识别方法

在以往的方法中,针对于图像识别,主要目标是提取出足够多的具有区分度的局部关键特征。由于细粒度图像分类是对同属于一个大类下面的具体小类别的细分,所以不同的细类之间差别很小,要想提高准确率,更需要找到具有辨别力度的局部区域。论文使用了目标-导航网络,来筛选出前k个最具有判别力的局部区域块,然后针对于筛选出来的k个不同的区域块,利用非局部模块的思想,捕捉不同局部区域之间的联系,更加充分地利用了图像信息,以此来提高精度。与此同时,在残差网络中,使用了卷积注意模块捕捉不同通道注意力特征之间的联系,且在最后的全连接层处改进了网络架构,使用跨层特征融合的方法来代替了简单的级联。考虑到在细粒度识别中,图像的标注需要耗费非常多的人力物力,所以论文中提出的方法,是自监督的。

基于多层特征融合的多光谱行人检测方法

针对行人检测模型在全天候场景下特征提取能力差、检测准确率低的问题,提出一种基于多层特征融合的多光谱行人检测方法。设计一种基于通道注意力机制的可见光与红外特征的融合方式,提升模型的特征融合效率;采用多层融合特征设计特征金字塔网络,提升模型的特征提取能力;引入自适应特征融合机制对检测层进行特征图尺度调整,降低尺度冲突对模型性能的影响。在KAIST数据集上进行实验,其结果表明,模型的检测性能有一定提升。

基于上下文感知跨层特征融合的光场图像显著性检测

光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完整以及背景难抑制的问题,因此该文提出一种基于上下文感知跨层特征融合的光场图像显著性检测网络。首先,构建跨层特征融合模块自适应地从输入特征中选择互补分量,减少特征差异,避免特征不准确整合,以更有效地融合相邻层特征和信息性系数;同时利用跨层特征融合模块构建了并行级联反馈解码器(PCFD),采用多级反馈机制重复迭代细化特征,避免特征丢失及高层上下文特征被稀释;最后构建全局上下文模块(GCM)产生多尺度特征以利用丰富的全局上下文信息,以此获取不同显著区域之间的关联并减轻高级特征的稀释。在最新光场数据集上的实验结果表明,该文方法在定量和定性上均优于所比较的方法,并且能够精确地从前/背景相似的场景中检测出完整的显著对象、获得清晰的显著图。

极端条件下基于特征层面信号融合的电励磁双凸极电机匝间短路故障诊断

电励磁双凸极电机(WFDSM)具有结构简单、可靠性高等优点,适用于航空航天等环境恶劣领域。当发生小匝数短路故障时,由于其电流、振动等信号不会产生明显的变化,难以用传统的检测手段区分。因此,该文提出一种基于特征层面多源信号融合和改进神经网络的WFDSM匝间短路故障诊断方法,用于诊断极端环境下WFDSM早期匝间短路故障。首先,对电流信号进行经验模态分解,获得本征模态函数,同时对振动信号进行小波包变换,并对分解后的各个频段提取峭度和裕度特征,同时计算能量占比;然后,将上述特征矩阵处理后输入改进卷积神经网络训练模型中;最后,通过实验表明,采取特征融合的计算方法诊断准确率可达98%,较数据层面和结果层面的融合计算方法准确率有明显的提升,并且对极端运行环境下的噪声,该方法具有很强的抗干扰能力。

基于面部多特征跨层融合网络的驾驶员疲劳检测方法

针对现有驾驶员疲劳检测很大程度依赖于局部疲劳相关信息提取而导致检测准确度不足的问题,本文提出了一种基于面部多特征融合的驾驶员疲劳检测算法,能够对整体面部疲劳状态进行特征学习,从而实现更精确的驾驶员疲劳状态检测。提出的驾驶员人脸疲劳检测算法包含3个步骤:首先使用MTCNN网络检测面部关键点并截取脸部、眼部、嘴部图像区域;其次设计一种面部多特征跨层融合网络,实现不同面部区域之间的信息交互与疲劳相关特征提取,进而通过多标签分类对单帧图像面部疲劳相关属性进行识别;最后使用LSTM对长时间序列进行建模,实现最终的驾驶员疲劳状态检测。本文提出的驾驶员疲劳检测算法在NTHU-DDD数据集进行了测试,对比实验验证了该方法的可行性和有效性。

多尺度特征跨层融合遥感目标检测方法

最近引起广泛关注的基于遥感图像的目标检测是一项基本但具有挑战性的任务。文章提出了一种基于YOLOv5改进的多尺度特征跨层融合遥感目标检测器。首先,引入Explicit Visual Center(EVC)模块解决目标密集分布任务中的漏检问题。其次,在YOLOv5的基础上提出了多尺度特征跨层融合结构(S-160),该结构提高了对各个尺度目标的检测精度,并针对小目标检测引出了新的大尺度特征,以解决遥感图像中超小目标无法识别的问题。最后,在公共遥感数据集DOTA上进行了实验,此数据集上的平均精度(mAP)达到了76.50%。

电力电子电路多源特征层融合故障诊断方法

设计了一种多源信息特征层融合的故障诊断方法,应用在电力电子电路的诊断过程中。选择待测电路的节点电压和重要支路电流作为融合对象,利用小波变换和主成分分析对数据进行预处理和特征提取,采用间隔交叉的方式将电压特征矢量和电流特征矢量联合形成特征矢量,通过神经网络对联合特征矢量进行推理分类,得到故障诊断结果。以Buck-Boost电路为诊断实例,对比分析了选择不同特征融合对象对故障诊断结果的影响,实验结果证明该方法可以明显提高电路诊断率。

基于特征层融合的高光谱图像异常检测算法研究

介绍了一种基于特征层融合的异常检测算法。目前 ,其他的目标检测算法都需要知道有确定类别标记的样本 ,而一般的异常检测则是利用统计特征差异分割出图像中不同于背景的点。此方法减少了对先验信息的依赖 ,但是其结果存在较大虚警。提出的异常检测算法是利用低概率检测算法对高光谱数据先进行特征层融合 ,再进行分割、提取异常点 ,其结果降低了虚警和漏警。用这一方法对OMIS系统产生的数据进行了处理 ,取得了较好的结果。

基于特征层融合的模拟电路故障诊断方法

为了提高模拟电路软故障诊断精度,提出了基于特征层融合的模拟电路故障诊断方法。通过小波变换的频带能量和AR模型的系数生成故障的初始特征,利用线性判别分析提取特征,降低特征向量的维数,结合mRMR原则与支持向量机构成的组合特征选择方法,对降维后特征进行最优选择,输入到训练好的支持向量机多分类器中进行分类,从而降低特征的冗余,提高故障诊断的精度。以某车辆电压调节电路为例进行仿真分析,实验结果表明,该方法有很好的诊断能力。

增强典型相关分析及其在多模态生物特征识别特征层融合中的应用

提出了增强典型相关分析(ECCA)的概念,并将ECCA用于多模态生物特征的特征层融合.ECCA不仅保持了CCA的本质特征,而且利用了类别信息,能够找到两个特征空间对分类更有意义的投影方向.开集测试表明,ECCA用于特征层融合时,可以获得比广义典型相关分析、串行融合、并行融合特征层融合算法和加法规则、乘法规则等分数层融合算法更好的性能.

TM和SAR遥感图象特征层融合分类方法的研究

针对空间遥感ＴＭ图象和ＳＡＲ图象信息的特征层融合应用于地物分类，提出了一种结合Ｍａｒｋｏｖ随机场和ＢＰ神经网络模型的多源遥感图象迭代分类方法。该分类方法与现有的基于Ｍａｒｋｏｖ模型的分类器相比具有无须假设条件概率密度函数模型的优点；与ＢＰ神经网络分类器相比，由于其考虑了类别标号的空间相关性，提高了分类精度；有别于传统的上下文分类器：它是通过迭代过程来实现分类的。

基于多参数和特征层融合的化学品燃爆状态辨识方法

作为化学品燃爆特性检测关键环节的燃爆状态辨识过程,目前仅以人眼或单一传感器辨识的手段进行,存在人工辨识受主观影响大、单一传感器适用范围窄的缺点,难以取得精确的辨识结果。提出引入多传感器、利用模糊神经网络系统(FNNS)对检测数据作特征层融合,以快速准确辨识燃爆状态的实验方法。结合模糊逻辑推理及RBF神经网络优势,在多层拓扑结构基础上建立了火焰光、热强度及其梯度与目标状态间特定的泛函映射。实验结果表明:该方法有效互补特征信息,提高检测装置的鲁棒性和状态辨识结果的置信度,错误率优于0.1%,使得燃爆特性的描述更加准确。

指纹与指静脉的特征层动态加权融合识别

结合指纹与指静脉两种生物特征的优点进行多模态特征识别,提出一种特征层动态加权融合匹配算法。在图像预处理的基础上分别提取两模式源的有效特征矢量,根据近邻消除和特殊区域保留原则对特征矢量进行降维;从待识别特征角度对特征点集的相对质量进行评价,根据对双模态特征优和差的分类引入动态加权策略,提高质量较好特征所占权重,削弱低质量及伪特征对识别结果的影响,实现了特征层特征自适应优化融合。在FVC2000公开指纹库和指静脉自建数据库上的测试取得了98.9%的识别率,较指纹、指静脉单模态识别分别提高了6.6%和9.6%,较匹配层加权平均融合识别提高了5.4%。

一种用于特征层融合识别的回弹全局自适应动量BP算法

针对特征层融合识别中全局自适应BP算法存在的收敛速度慢、学习不稳定等问题,基于对动量BP算法的详细分析,提出了一种新的全局自适应BP算法——回弹全局自适应动量BP算法(RGMOBP),该算法具有在误差增大时进行权值回弹并减小学习步长以保证权值的调节功能、使误差减小的特点。仿真结果表明:RGMOBP在学习性能上优于其它已有经典全局算法,是一种简单有效的神经网络特征层融合识别算法。

基于多模态生理信号特征融合的情感识别方法

针对单模态生理信号情感识别率不高,稳定性不足等问题,提出一种基于眼动和光电容积脉搏(Photoplethysmogram, PPG)多模态特征融合的情感识别方法。从眼动和PPG的浅层特征中使用卷积神经网络FECNN提取深层特征,采用特征层融合的方法将深浅层特征进行融合。使用长短期记忆网络(LSTM)作为分类器,将融合后的多模态特征作为LSTM的输入,实现高兴,感兴趣,困惑和无聊四种情感识别。采用在线视频学习场景下采集的数据对上述模型进行训练和评估。使用眼动单模态浅层特征的最高识别率为71.25%,PPG单模态浅层特征的最高识别率为73.40%,基于FECNN-LSTM的眼动和PPG多模态融合情感识别方法取得平均识别准确率达84.68%,实验结果表明,上述模型能充分利用眼动和PPG中的情感特征信息,提高了情感分类准确率。

基于SVM特征层融合的集成性身份识别模型

多生物特征融合识别是提高身份识别性能的有效方法,提出一种基于特征层融合的识别模型。以人脸与虹膜为例,首先对这两种图像分别进行预处理,然后对人脸采用PCA、Fisherface方法,对虹膜采用小波变换、多通道Gabor滤波方法,进行特征提取得到各自的初始特征向量,由此生成融合特征向量,最后利用SVM对融合特征向量进行分类,实现特征层融合识别。仿真实验结果表明,同等条件下,该融合方法的识别效果优于常见识别方法。