基于语音信号时频特征融合的帕金森病检测方法

发音障碍是帕金森病的早期症状之一。近年来,基于语音信号的帕金森病检测的研究大多采用梅尔刻度下的相关语音特征与深度神经网络模型相结合的方法。然而,现有的模型无法充分关注语音信号的全局时序信息,且梅尔刻度特征在准确表征帕金森病的病理信息方面效果有限。为此,提出了一种基于语音时频特征融合的帕金森病检测方法。首先,提取语音的梅尔频率倒谱系数,并将其作为模型的输入。接着,在已有的S-vectors模型中引入Conformer编码器模块,以提取语音的时域全局特征。最后,将与帕金森病语音检测相关的频域全局特征嵌入时域特征中进行时频信息融合,以实现帕金森病语音检测。在公开帕金森病语音数据集和自采语音数据集上验证了方法的有效性。

基于特征融合和模板更新的孪生网络跟踪算法

针对现有孪生网络跟踪算法仅使用主干网络最后一层的特征进行相似度匹配,以及缺少有效模板更新策略的问题,提出基于多尺度特征融合和自适应模板更新的孪生网络跟踪算法。首先,结合深度过参数化卷积设计非填充单元,提取更深层的前景特征和语义背景;然后,设计新的全局-局部特征融合模块,充分聚合浅、中层特征的全局和局部信息,捕获丰富的浅层外观特征和中层过渡特征;最后,采用自适应模板更新机制在线更新模板。为验证算法的有效性,在公开数据集上对所提算法进行详尽评估,实验结果显示,所提算法在OTB2015和VOT2018数据集上的精确度分别达到0.878和0.588,GOT10K数据集上平均重叠率达到0.526,优于其他主流算法。

基于多特征融合时差网络的带式输送机区域违规行为识别

现有的煤矿井下带式输送机区域违规行为(如攀爬、跨越、倚靠带式输送机等)识别方法对特征提取不充分、难以考虑到行为时间差异,导致违规行为识别准确率不高。针对该问题,基于ResNet50模型,提出了一种基于多特征融合时差网络(MFFTDN)的带式输送机区域违规行为识别方法,将多特征融合和时间差分进行结合,对不同时间段的行为进行多特征融合。首先在原始模型ResNet50的第2和第3阶段引入短期多特征融合(STMFF)模块,将来自多个连续帧的时间和特征拼接在一起,再对融合后的特征进行时间差分计算,即相邻帧的特征差值,以在短期内捕捉局部动作变化。然后在原始模型ResNet50的第4阶段引入长期多特征融合(LTMFF)模块,将来自连续帧的短期多特征拼接在一起,再对相邻时间点的特征进行时间差分计算,以获取行为的长期多特征。最后将融合后的特征进行分类,输出识别结果。实验结果表明:①该方法的平均精度和准确率较原始模型ResNet50分别提高了8.18%和8.47%,说明同时引入STMFF和LTMFF模块能够有效提取到不同时间段的多特征信息。②该方法在自建煤矿井下带式输送机区域违规行为数据集上的准确率为89.62%,平均精度为89.30%,模型的参数量为197.2×10^(6)。③Grad−CAM热力图显示,该方法能够更有效地关注到违规行为的关键区域,精确捕捉到井下带式输送机区域的违规行为。

基于图神经网络的瑜伽动作多特征融合识别算法

针对现有瑜伽动作识别方法不能挖掘动作与形体特征等深层次信息的问题,提出了一种基于多特征融合图神经网络的改进瑜伽动作识别算法,该算法利用瑜伽的动作历史和形体信息,结合多特征融合和图神经网络的优势,通过建模形体和动作之间的关系图,得到形体信息对不同瑜伽动作类别的影响程度,以及历史动作的长时和短时性。在实验中,对比了该方法与其他算法在瑜伽动作识别任务中的表现。结果表明,该方法在准确率、精确率、召回率和F_(1)值等指标上有明显的提高,证明了该瑜伽动作识别算法的有效性。

二阶逐层特征融合网络的图像超分辨重建

针对一些超分辨网络忽略了对网络各层次特征的复用以及融合的问题,构建了具有较强特征复用和融合能力的二阶逐层特征融合超分辨网络,以获得具有高分辨率、高保真度的重建图像。网络的核心是逐层特征融合模块,该模块通过特征融合操作增强特征的重用。此外,还提出了二阶特征融合机制,该机制在网络的局部和全局层次上采用逐层特征融合方法进行特征融合。实验结果表明该网络的重建图像在线条和轮廓上更清晰,并且在峰值信噪比和结构相似度上也取得了更好的结果。例如当缩放尺度因子为2时,各测试集上的峰值信噪比/结构相似度依次为38.20 dB/0.9612、33.81 dB/0.9195、32.28 dB/0.9010、32.65 dB/0.9324、39.11 dB/0.9779,相比其他模型有一定提升,从客观标准和主观角度证明了二阶逐层特征融合超分辨网络具有一定的优越性。

一种多尺度特征融合的多模态三维点云配准模型

针对三维点云配准中现有描述符提取方法可能导致点云结构信息不显著以及点云数据细节丢失的问题,提出了一种多尺度特征融合的多模态三维点云配准模型(Multi-scale Feature Fusion,MSFNet)。首先,在编码器中采用基于稀疏卷积的通道注意力模块(Channel Attention Module Based On Sparse Convolution,SCCAM)使得该模型能够自适应地关注点云的特征结构;然后,利用多尺度空间点云编码结构(Multi-scale Spatial Point Cloud Encoding,MSPCE)提取并有效融合不同尺度下的点云特征,从而增加点云描述符的感受野;最后,利用多模态特征融合模块对编码器提取的点云特征与图片特征进行融合,并将其送入解码器进行监督训练,以生成最终的点云描述符。采用特征匹配召回率(Feature-Match Recall,FMR)作为评价指标,在数据集3DMatch上进行实验。实验结果表明MSFNet网络其召回率精度达到了98.4%,与IMFNet(Interpretable Multimodal Fusion)网络相比,提升了0.8%。

无人机多光谱影像的小麦倒伏信息多特征融合检测研究

为探究多特征融合方法在作物倒伏领域快速精准识别中的适用性,利用无人机获取多田块冠层尺度的不同倒伏率麦田多光谱数据,对原始倒伏图像进行图像拼接、辐射校正、几何校正等预处理,并利用重归一化差值植被指数和阴影指数分别剔除土壤和阴影背景,提取小麦倒伏DSM模型和植被指数分别与多光谱图像进行多特征图像主成分变换融合,筛选差异性较大的纹理特征,采用支持向量机(SVM)、人工神经网络(ANN)和最大似然法(MLC)监督分类模型对多光谱和DSM融合图像、多光谱和归一化植被指数(NDVI)融合图像、多光谱图像和纹理特征图像进行监督分类,并采用总体精度(OA)、 Kappa系数和提取误差综合评价各监督模型的分类性能和倒伏提取精度。分类结果表明:各监督分类方法在不同倒伏区域提取结果建模效果趋势一致,SVM和ANN整体提取精度高于MLC,在高倒伏区域,多光谱与NDVI融合图像的SVM监督模型(OA:92.63%, Kappa系数:0.85,提取误差:1.11%)提取效果最好;在中倒伏区域,多光谱与DSM融合图像的SVM监督模型(OA:90.35%, Kappa系数:0.79,提取误差:9.34%)提取效果最好;在低倒伏区域,均值纹理特征图像的ANN监督模型(OA:91.05%, Kappa系数:0.82,提取误差:8.20%)提取结果较好。本研究将DSM模型、植被指数、纹理特征与多光谱图像进行融合对比,并对多特征融合方法能否高精度有效提取小麦倒伏信息进行了探究,结果表明无人机多光谱遥感结合特征融合技术能有效提取小麦倒伏面积,提取效果优于单特征小麦倒伏图像。本研究结果可为助力小麦倒伏灾情调查数据的精确获取方法提供参考。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

基于多特征融合的露天矿区道路负障碍检测

随着智慧矿山概念的逐步落实,智能化、无人化逐渐在矿区落实,露天矿卡车无人驾驶日益成为矿山智能化建设的主要内容,为解决露天矿区复杂多变的道路因坑洼、塌陷等路面小部分下陷出现的非规则负障碍而导致矿区无人车、重载卡车侧翻等安全难题,提升矿区安全驾驶系数,提出一种多特征融合的露天矿区道路负障碍检测方法。该方法使用BiFPN特征融合模块,提高小型负障碍检测权重占比;引入空间和通道双注意力机制提高对负障碍边缘的特征提取和特征融合能力,从而提高对道路小尺度负障碍的检测精度;采用SIoU Loss作为模型边界框损失函数并使用K-means++方法优化Anchor以提高负障碍检测模型的收敛速度和边界框定位效果,并基于遗传算法优化超参数让模型更贴合矿区场景,最终实现对矿区道路负障碍的快速精准识别。实验表明该检测模型能快速准确识别复杂背景下露天矿区道路负障碍目标,对道路负障碍目标的检测精度、召回率、平均精确度均值分别达到了96.9%、89.9%、95.3%,且该模型大小仅有12.7 MB。对比其他主流检测网络,该网络模型更适合复杂环境下露天矿区非结构化道路行驶安全需求,且该检测模型的鲁棒性好,可适配于多种情况的露天矿区,为实际环境复杂多变的露天矿区非结构化道路负向障碍检测提供了可行的方法,为露天矿无人卡车安全生产运输提供安全预警。

基于AM和CNN的多级特征融合的风力发电机轴承故障诊断方法

提出一种基于注意力机制的多级特征融合卷积神经网络(A2ML2F-CNN)故障诊断方法。该方法将原始电流和振动信号作为输入,首先使用基于注意力卷积神经网络(AMCNN)模块分别进行数据信号特征提取,并进行一级特征融合连接。在此基础上,再次分别采用注意力机制一维卷积神经网(AM1DCNN)和二维卷积神经网络(2DCNN)提取相关信息,并进行二级特征融合,以此来解决单传感器数据故障信息不足及互补特征难以提取的问题,最后采用全连接层和Softmax层进行分类,得到诊断结果。为验证所提方法的故障诊断效果,通过帕德伯恩数据集进行实验验证,并将其与CNN、LSTM、SVM等方法的诊断精度进行对比,相较于上述方法,该文方法的诊断准确率分别提高1.8、3.2和4.8个百分点,验证了所提方法的有效性。

基于多特征融合的高机动多目标低截获概率跟踪技术

在多目标跟踪过程中,目标的高机动特性使得传统采用固定运动模型或交互式多模型的目标跟踪算法很难实时精确匹配目标运动模型,从而引起高机动目标的低跟踪精度问题。针对这一问题,本文提出一种基于目标运动状态模型自适应更新的高机动多目标跟踪算法。在多目标跟踪过程中,该算法采用多特征聚类融合算法进行目标运动模型估计,并根据各目标跟踪波动参数进行状态转移矩阵决策更新,同时利用联合概率数据关联实现多机动目标状态转移矩阵自适应更新的关联跟踪,从而解决了传统多目标跟踪算法因目标运动模型失配引起的低跟踪精度问题。在目标跟踪算法的传感器选择上,无源传感器不对外辐射能量,具有较好的低截获概率性能,但其跟踪精度有限,常不能满足多目标高跟踪精度的要求。雷达作为有源传感器,具有较高的跟踪精度。但由于雷达对外辐射信号,容易被防御方截获。针对这一问题,本文提出了一种无源传感器目标跟踪为主,有源雷达间歇跟踪为辅的多传感器协同管理目标跟踪算法。该算法通过对目标跟踪本征堆积误差的判断进行传感器的最优分配,并根据波动参数的大小进行状态转移矩阵决策更新。仿真结果验证了本文所提出的多传感器协同的高机动目标跟踪算法在满足高机动目标跟踪精度的条件下可以有效的提升雷达低截获概率性能。

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

多特征融合的无人艇视觉目标长时相关鲁棒跟踪

[目的]针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。[方法]首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。[结果]实验结果表明,相较于传统的长时相关跟踪算法,平均成功率提升15.7%,平均距离精度指标提升30.3%,F-Score指标提升7.0%。[结论]所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。

多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别

在结合脑电(EEG)信号与人脸图像的双模态情感识别领域中,通常存在两个挑战性问题:(1)如何从EEG信号中以端到端方式学习到更具显著性的情感语义特征;(2)如何充分利用双模态信息,捕捉双模态特征中情感语义的一致性与互补性。为此,提出了多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别模型。一方面,为从EEG信号中获得更具显著性的情感语义特征,设计了多层次时空特征自适应集成模块。该模块首先通过双流结构捕捉EEG信号的时空特征,再通过特征相似度加权并集成各层次的特征,最后利用门控机制自适应地学习各层次相对重要的情感特征。另一方面,为挖掘EEG信号与人脸图像之间的情感语义一致性与互补性,设计了特有-共享特征融合模块,通过特有特征的学习和共享特征的学习来联合学习情感语义特征,并结合损失函数实现各模态特有语义信息和模态间共享语义信息的自动提取。在DEAP和MAHNOB-HCI两种数据集上,采用跨实验验证和5折交叉验证两种实验手段验证了提出模型的性能。实验结果表明,该模型取得了具有竞争力的结果,为基于EEG信号与人脸图像的双模态情感识别提供了一种有效的解决方案。

基于多尺度特征融合的遥感影像场景分类方法

针对遥感场景影像存在类间相似性高、类内多样性大、且不同尺度下遥感影像差异大等问题,导致场景分类任务精确度受限,提出一种基于多尺度特征融合的遥感影像场景分类算法。首先利用轻量级网络MobileNetV2作为主干网络,以更少的网络参数实现更高的分类准确率。网络通过一维卷积提升输入通道,设计的多尺度特征融合模块能够捕获遥感影像的高级特征和低级特征,融合影像的多尺度特征,能够有效缓解不同尺度下遥感影像差异大的问题。通过在三个公开遥感数据集上进行实验对比,验证了所提方法的有效性。

基于特征融合Transformer的EfficientNet v2网络对马铃薯叶片病害的识别

马铃薯叶片病害是影响马铃薯质量和产量的主要因素,为了能够快速准确地识别马铃薯叶片病害并采取对应的防控和救治措施,本研究提出一种新型马铃薯叶片病害识别方法。该方法利用EfficientNet v2网络提取图像特征,通过4个不同尺度的网络层进行金字塔融合,从而捕捉不同尺度下的图像细节和上下文信息,并在金字塔融合中的每个下采样环节都添加1个CBAM注意力机制模块,且每个CBAM模块后都加入Vision Transformer的Encoder模块进行特征增强,帮助提升所提取特征的丰富性和抽象能力,最后使用softmax进行分类。研究提出的模型识别准确率达到98.26%,相比改进之前提升3.47百分点,且其loss收敛更快,宏平均值与加权平均值都有明显提升。消融试验表明,该模型在各项指标上的表现最优,超过基线模型和融合模型,大幅提高图像分类识别任务模型的性能表现。该方法可有效提高病害区域的识别能力和检测准确率,且能在强干扰的环境下做到高精度识别,具有良好的鲁棒性和适应性,同时能解决病害识别中泛化能力弱、精度低、计算效率低等问题。

局部和全局特征融合的太阳能电池片表面缺陷检测

太阳能电池片表面缺陷具有类内差异大、类间差异小和背景特征复杂等特点,因此,要实现高精度的太阳能电池片表面缺陷自动检测是一项富有挑战性的任务。针对此问题,该文提出融合局部和全局特征的卷积视觉Transformer网络(CViT-Net),首先采用Ghost聚焦(G-C2F)模块提取电池片缺陷局部特征;然后引进坐标注意力强调缺陷特征并抑制背景特征;最后构建Ghost视觉(G-ViT)模块融合电池片缺陷局部特征和全局特征。同时,针对不同检测精度和模型参数量,分别提供了CViT-Net-S和CViT-Net-L两种网络结构。实验结果表明,与经典MobileVit、MobileNetV3和GhostNet轻量级网络相比,CViT-Net-S对电池片分类准确率分别提升了1.4%、2.3%和1.3%,对电池片检测mAP50分别提升了2.7%、0.3%和0.8%;与ResNet50、RegNet网络相比,CViT-Net-L分类准确率分别提升了0.72%和0.7%,检测mAP50分别提升了3.9%、1.3%;与先进YOLOv6、YOLOv7和YOLOv8检测网络相比,作为骨干网络的CViT-Net-S、CViT-Net-L结构在mAP和mAP50指标上仍保持良好检测效果。结果证明本文算法在太阳能电池片表面缺陷检测领域具有应用价值。

基于tSNE多特征融合的JTC轨旁设备故障检测

无绝缘轨道电路(Jointless Track Circuit,JTC)的轨旁设备在室外长期运营过程中,其可靠性会逐渐降低,进而给列车行车安全带来严重威胁。以轨道电路读取器(Track Circuit Reader,TCR)感应电压为基础,针对JTC故障诊断研究中轨旁设备故障类型复杂和故障特征提取不充分等问题,提出一种基于t分布随机邻域嵌入(t-distribution Stochastic Neighbor Embedding,tSNE)多特征融合的JTC轨旁设备故障检测模型。首先,根据不同轨旁设备故障对TCR感应电压信号的影响,分析各轨旁设备的故障特性。其次,提取TCR感应电压信号的方差、有效值、峰值因子等幅值域特征,以及排列熵、散布熵特征构成原始故障特征集。为了去除其中的冗余信息,得到具有较高判别性的融合流形特征,利用tSNE算法进行特征融合。最后输入深度残差网络(Deep Residual Network,DRN)得到故障检测混淆矩阵,实现轨旁设备故障定位。实验结果表明:tSNE算法融合后的特征在异类和同类故障样本之间分别有较大的类间间距和较小的类内间距,相比主成分分析(Principal Component Analysis, PCA)、随机相似性嵌入(Stochastic Proximity Embedding, SPE)、随机邻域嵌入(Stochastic Neighbor Embedding,SNE)算法具有更优的融合特征提取效果。此外,结合DRN可以有效识别多种轨旁设备故障,达到98.28%的故障检测准确率。通过现场信号进行实例验证,结果表明该故障检测模型能满足铁路现场对室外设备进行故障定位的实际需求。