用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

基于特征融合Transformer的EfficientNet v2网络对马铃薯叶片病害的识别

马铃薯叶片病害是影响马铃薯质量和产量的主要因素,为了能够快速准确地识别马铃薯叶片病害并采取对应的防控和救治措施,本研究提出一种新型马铃薯叶片病害识别方法。该方法利用EfficientNet v2网络提取图像特征,通过4个不同尺度的网络层进行金字塔融合,从而捕捉不同尺度下的图像细节和上下文信息,并在金字塔融合中的每个下采样环节都添加1个CBAM注意力机制模块,且每个CBAM模块后都加入Vision Transformer的Encoder模块进行特征增强,帮助提升所提取特征的丰富性和抽象能力,最后使用softmax进行分类。研究提出的模型识别准确率达到98.26%,相比改进之前提升3.47百分点,且其loss收敛更快,宏平均值与加权平均值都有明显提升。消融试验表明,该模型在各项指标上的表现最优,超过基线模型和融合模型,大幅提高图像分类识别任务模型的性能表现。该方法可有效提高病害区域的识别能力和检测准确率,且能在强干扰的环境下做到高精度识别,具有良好的鲁棒性和适应性,同时能解决病害识别中泛化能力弱、精度低、计算效率低等问题。

并行双路径主干下全局特征融合的目标检测算法

常规单路径架构主干经过积极的下采样,往往导致特征信息的丢失。同时,仅依靠特征金字塔简单地相加或拼接不利于浅层到深层的特征集成。针对上述问题,提出一种并行双路径主干下全局特征融合的目标检测算法。采用双路径架构主干并行地提取空间与语义信息,并通过双路径融合模块,促进特征信息间的相互补充。顶部特征依次与金字塔池化多尺度池映射相加,利用注意力机制将多尺度池化特征聚集其中,进一步提高多尺度的检测性能。聚集全局尺度信息,利用自注意机制将其融入不同层特征,并重复多次以构建全局特征融合的颈部网络结构,有效提升颈部网络融合全局上下文信息的能力。头部采用Ghost Conv并结合通道混洗操作,维持模型性能的同时减少参数冗余。在KITTI、BDD100K和PASCAL VOC数据集上展开实验,所提算法的平均精度值相较于基线模型(YOLOv7-tiny)分别提高了3.5、3.4和2.7个百分点。实验结果表明,提出的算法提升了复杂场景下的检测性能,而且对算力等资源的要求较低。

基于高低频特征分解的深度多模态医学图像融合网络

多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性,以增强医学图像在临床应用中的可读性和适用性。然而,现有手工设计的模型无法有效地提取关键目标特征,从而导致融合图像模糊、纹理细节丢失等问题。为此,提出了一种新的基于高低频特征分解的深度多模态医学图像融合网络,将通道注意力和空间注意力机制引入融合过程,在保持全局结构的基础上保留了局部纹理细节信息,实现了更加细致的融合。首先,通过预训练模型VGG-19提取两种模态图像的高频特征,并通过下采样提取其低频特征,形成高低频中间特征图。其次,在特征融合模块嵌入残差注意力网络,依次从通道和空间维度推断注意力图,并将其用来指导输入特征图的自适应特征优化过程。最后,重构模块形成高质量特征表示并输出融合图像。实验结果表明,该算法在Harvard公开数据集和自建腹部数据集峰值信噪比提升8.29%,结构相似性提升85.07%,相关系数提升65.67%,特征互信息提升46.76%,视觉保真度提升80.89%。

基于全局能量特征与改进PCNN的红外与可见光图像融合

为了改善红外与可见光融合图像存在不清晰、图像对比度低以及缺少纹理细节的问题,本文提出了一种基于参数自适应脉冲耦合神经网络(parameter-adaptive pulse-coupled neural network,PAPCNN)图像融合算法。首先,对源红外图像进行暗通道去雾,增强图像的清晰度;然后,使用非下采样剪切波变换(non-subsampled shearlet transform,NSST)分解源图像,使用全局能量特征结合改进的空间频率自适应权重融合低频系数,将纹理能量作为PA-PCNN外部输入融合高频系数;最后,通过逆NSST变换得到最终融合灰度图像。本文方法与7种经典算法在2组图像中进行对比实验,实验结果表明:本文方法在评价指标中明显优于对比算法,提高了融合图像的清晰度和细节信息,验证了本文方法的有效性。将灰度图像转为伪彩色图像进一步增强了融合图像的辨识度和人眼的感知效果。

双关系预测与特征融合的实体关系抽取模型

现有分阶段解码的实体关系抽取模型仍存在着阶段间特征融合不充分的问题,会增大曝光偏差对抽取性能的影响。为此,提出一种双关系预测和特征融合的实体关系抽取模型(entity relation extraction model with dual relation prediction and feature fusion,DRPFF),该模型使用预训练的基于Transformer的双向编码表示模型(bidirectional encoder representation from transformers,BERT)对文本进行编码,并设计两阶段的双关系预测结构来减少抽取过程中错误三元组的生成。在阶段间通过门控线性单元(gated linear unit,GLU)和条件层规范化(conditional layer normalization,CLN)组合的结构来更好地融合实体之间的特征。在NYT和WebNLG这2个公开数据集上的试验结果表明,该模型相较于基线方法取得了更好的效果。

MCFNet:融合上下文信息的多尺度视网膜动静脉分类网络

针对由于血管类间具有强相似性造成的动静脉错误分类问题,提出了一种新的融合上下文信息的多尺度视网膜动静脉分类网络(multi-scale retinal artery and vein classification network,MCFNet),该网络使用多尺度特征(multi-scale feature,MSF)提取模块及高效的全局上下文信息融合(efficient global contextual information aggregation,EGCA)模块结合U型分割网络进行动静脉分类,抑制了倾向于背景的特征并增强了血管的边缘、交点和末端特征,解决了段内动静脉错误分类问题。此外,在U型网络的解码器部分加入3层深度监督,使浅层信息得到充分训练,避免梯度消失,优化训练过程。在2个公开的眼底图像数据集(DRIVE-AV,LES-AV)上,与3种现有网络进行方法对比,该模型的F1评分分别提高了2.86、1.92、0.81个百分点,灵敏度分别提高了4.27、2.43、1.21个百分点,结果表明所提出的模型能够很好地解决动静脉分类错误的问题。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

融合深度BiGRU与全局图卷积的方面级情感分析模型

现有基于深度学习的方面级情感分析模型需要考虑如何提取深层次的语义信息,其次通过依存树提取句法结构时可能存在信息丢失与数据稀疏问题.针对以上问题,本文提出了基于深度双向门控循环单元与全局双向图卷积网络的神经网络模型(DBG-GBGCN).该模型通过深度双向门控循环单元捕获深层次的语义特征,得到上下文的隐层表示.然后将依存树的邻接矩阵转变为带有全局句法信息的全局矩阵,将此矩阵与上下文的隐层表示一起输入至双向图卷积网络进行特征融合,最后经过掩码层和注意力层得到一个包含深层语义特征与句法结构信息结合的分类特征.实验结果证明,该模型在5个公开数据集上的准确率与F1值均比对比模型有着一定的提升.

基于特征融合并行优化模型的电能质量扰动分类方法

为了提高对复杂电能质量扰动(power quality disturbances,PQDs)的分类准确率,该文提出一种基于特征融合并行优化模型的PQDs分类方法。该方法以特征融合的方式,使用全卷积神经网络(fully convolutional networks,FCN)和长短期记忆网络(long short-term memory,LSTM)并行挖掘PQDs在空间和时序上的高维特征,并提出全局最大池化(global max pooling,GMP)和时间序列重组(time series reshape,TSR)优化,提升模型的分类性能。为了验证所提方法的有效性,该文基于Keras框架搭建分类模型,建立含72类扰动的PQDs数据库并进行仿真实验,所提方法在20dB白噪声环境中平均分类准确率可达92.38%,相较于其他主流深度学习分类方法有更高的噪声鲁棒性和分类准确率。另外,对硬件平台所采样的10类PQDs进行分类测试,共100组实验信号均得到正确分类,该结果进一步验证了所提方法的可靠性。

基于听觉特征融合的煤矸识别方法研究

针对强噪声背景下综放开采过程中垮落煤矸难以识别问题,提出了一种融合低级听觉特征Mel频谱和高级听觉特征听觉神经递质发放率的煤矸识别方法。首先,根据煤矸垮落冲击液压支架尾梁声音信号频谱特点,基于听觉神经滤波器组模型构建了适用于煤矸识别任务的听觉模型;然后,利用听觉模型对煤矸垮落声音信号进行分析,获得听觉神经递质发放率;再次,将听觉神经递质发放率与通过Mel频谱提取的峰值特征进行融合,得到煤矸声音听觉感知图;最后,基于所构建的听觉感知图,利用ConvNeXt模型进行煤矸识别。试验结果表明,采用融合听觉特征的煤矸识别方法在不同信噪比下均具有较高的识别准确率;其优越性在背景噪声较大的工况下(信噪比为-5 dB)尤为明显,准确率仍能达到91.52%,显著优于以低级听觉特征和频谱图作为识别特征和利用时频域特征结合机器学习的煤矸识别方法,验证了融合听觉特征的煤矸识别方法对噪声具有优越的鲁棒性。

基于多尺度特征融合网络的苹果病害叶片检测

准确地检测出苹果叶片的病害对提高苹果产量和质量具有重要意义。针对现有苹果叶片病害检测模型信息利用不充分,导致检测性能不佳的问题,提出一种基于多尺度特征融合网络的苹果病害叶片检测方法。首先,利用深度可分离卷积改进传统Vgg-16网络,并作为苹果叶片病害图片的全局特征提取器;其次,利用Swin Transformer网络作为局部特征提取器;然后,提出一种多尺度特征融合网络将局部和全局特征进行融合,构造多尺度特征;最后,将融合的多尺度特征作为全连接网络的输入,实现苹果病害叶片的检测。实验结果表明,所提出方法可以实现93.98%的准确率、94.11%的精准率、93.93%的召回率和94.62%的F_(1)值。相比当前主流的苹果病害叶片检测模型,在检测精度和模型参数计算量等方面,均具有很强的竞争力。

基于分类特征空间高斯混合模型和神经网络融合的说话人识别

该文提出了一种基于分类高斯混合模型和神经网络融合(FS-GMM/NN)的说话人识别方法,通过对特征矢量进行聚类分析,将说话人的训练语音分成若干类。然后根据各个类中含特征矢量的多少采用不同的模型混合度,训练建立分类高斯混合模型。并采用神经网络实现各个分类高斯混合模型输出的融合.在100个男性话者的与文本无关的说话人识别实验中,基于分类高斯混合模型和神经网络融合的方法在识别性能及噪声鲁棒性上都优于不分类的GMM识别系统,并具有较高的模型训练效率,且可以有效地降低话者模型的混合度和测试语音长度。

基于推文传播模式与跨模态特征的网络谣言检测研究

[研究目的]为了有效治理网络谣言,减少网络谣言对社会稳定带来的威胁,提出充分整合帖子的多模态信息和传播模式信息对谣言进行精准识别。[研究方法]提出融合推文传播模式信息与跨模态特征的网络谣言检测模型(PPCMRD)。在推文传播特征挖掘方面,首先通过推断潜在连接补全推文传播图,接着采用双向标签图注意力模块编码推文的多个传播模式,然后通过传播模式信息融合模块捕获模式特征间的互补信息,得到帖子的传播特征;在整合多模态特征方面,该模型将帖子的文本、图像和推文传播特征集成在一起,采用跨模态共同注意力机制捕捉不同模态信息间的互补关系,得到帖子的最终嵌入表示,判断是否是谣言。[研究结论]在两个公开数据集上的实验结果表明,PPCMRD模型能够有效地检测谣言,并优于当前的基线模型。

异质社交网络中多通道特征融合的好友推荐模型

合理有效的好友推荐算法对于社交网络的发展和扩张有重大的意义。然而随着社交网络的复杂化和异质化,传统推荐系统中协同过滤推荐方法不能满足需求。针对异质社交网络中存在着大量的内容相关信息这一特点,根据好友推荐的需求,提出了多通道特征融合的好友推荐模型。该模型对用户相关的多维特征进行挖掘与利用,包括显性特征(如用户profile,用户tag,社交关系等)和隐性特征(如用户重要度,挖掘用户标注发现其领域兴趣等),并进一步将这些内容相关的多特征融合到协同排序算法中进行学习训练。实验结果表明,随着多个内容特征的逐步融合,算法的MAP值稳步提高,最终相对未融合的协同排序方法提高了12%,并在一定程度上的解决了冷启动问题,提高了好友推荐的多样性。

基于ECA和三分支卷积融合网络的脑电信号解码研究

基于运动想象脑电信号的脑机接口系统可以实现大脑和外部设备的交互,能够帮助残疾人控制辅助设备,提高他们的生活质量。然而,有限的脑电信号解码性能限制了脑机接口产业的大规模发展。文中提出一种基于高效通道注意力(ECA)和三分支卷积融合网络的ECA-TBCFNet模型用于基于脑电图的运动想象(MI-EEG)信号解码。ECA模块可自动捕捉脑电信号中的跨通道交互,三分支卷积融合网络能够多尺度地提取信号中的时空特征。ECA-TBCFNet模型在BCI竞赛IV-2a数据集上的四分类任务中取得了83.3%的准确率和0.78的kappa系数;此外,在Physionet MI-EEG数据集上两分类和四分类任务中,ECA-TBCFNet模型的准确率分别为87.87%和69.01%。结果表明,提出的ECA-TBCFNet模型可以有效提高运动想象脑电信号的识别准确率,并具有较高的鲁棒性。

基于深度融合模型的气膜密封端面状态识别方法

气膜密封装置是工业领域应用广泛的一种密封技术,其可靠的密封性能对于设备正常运行至关重要。气膜密封装置的动静密封环接触端面相对运动会产生摩擦,摩擦过程会产生复杂的声发射信号,这些信号往往隐含密封端面运行状况的重要信息。采用传统的方法往往难以准确识别和分类这些微弱的特征信号,因此需要开发更高精度的故障诊断方法。针对机械密封动、静环端面摩擦状态难以识别这一问题,以气膜密封装置为研究对象,提出了一种基于深度融合模型的气膜密封端面状态识别方法。首先,采用声发射传感器及采集设备,对密封端面的声发射信号进行了采集;其次,利用小波包变换方法对采集到的信号进行了滤波处理,并提取了时域和频域的微弱特征;然后,将深度随机森林(DRF)作为分类层融入卷积神经网络(CNN)形成了融合模型,对预先处理过的密封装置运行状态的特征信息进行了识别和分类;最后,根据实验的泄漏量,使用混淆矩阵和受试者工作曲线分析了两种模型的特征提取能力。研究结果表明:CNN-DRF融合模型对于密封端面声发射信号的两种特征识别精度分别为96%和98%,与传统的CNN模型相比,其可以充分提取信号特征信息,具有更出色的故障诊断能力。

基于时空特征融合的TCNformer船舶航迹长期预测

船舶轨迹预测在多种海事任务中发挥着重要的作用,虽已提出了多种时序模型解决航迹预测的问题,但船舶轨迹固有的异构型和多模式仍然面临诸多挑战,且在轨迹长期预测任务中存在较高的预测误差。针对船舶轨迹长期预测的实际应用需求,设计了1种新的AIS数据离散高维表示方法和1种新的损失函数,并将预测问题建模为分类问题,结合时间卷积网络(Temporal Convolutional Network,TCN)和Transformer模型搭建了1种新的模型,称为TCNformer,利用融合的时间维度特征和空间维度特征,通过有效捕捉AIS数据的长期依赖性,预测未来几个小时船舶位置。在公开的AIS数据集上的测试表明,所提方法相较于其他时序模型预测性能提升2倍,最长预测时间范围延长约3.8倍,满足船舶航迹长期预测的要求。

反向残差结构的指纹细节点提取轻量型网络模型

针对指纹匹配中细节点信息提取错误和提取不充分的问题,提出一种基于深度学习的端到端轻量型改进多尺度反向残差指纹网络模型(inverted residual network for fingerprint minutiae extraction,IRFingerNet)。该网络模型使用改进的残差结构,建立容易优化的轻量级网络,在增加网络深度时可减少信息丢失;把指纹的脊线、细节点等多种特征融合为联合特征,增强语义信息并提高对细节点的感知能力;运用通道注意力机制,校正联合特征,增大有效特征权重,减少无效特征权重。在NIST 4、FVC 2002、FVC 2004数据库上的实验结果表明,在实际应用中,IRFinger Net可以更有效地完成指纹细节点提取的任务,拥有更高的精准度和回调率,整体的F1得分高达0.87,其效果相较于传统提取方法得到了11%的提升,且达到了每个指纹图像0.23 s的检测速度。

基于3D特征融合与轻量化CNN的情绪EEG识别

情绪变化可引起头皮脑电信号的改变,基于脑电信号的情绪识别是近年来情绪研究的一个重要方向。为此,提出一种基于3D特征融合与轻量化卷积神经网络的情绪EEG识别方法,使用2 s窗口的3D特征图作为输入,并根据效价和唤醒提供情绪状态作为输出。在DEAP公开数据集上对所提方法进行受试者依赖实验,结果表明情绪识别性能评估效价和唤醒识别准确率分别为(97.08±0.32)%和(96.78±0.34)%。所提方法具有较高的情绪识别准确度和较低的计算复杂度,适用于实际场景中的情绪识别。