基于混合注意力残差神经网络的齿轮箱故障诊断

针对齿轮箱的振动信号中存在噪声干扰,导致特征提取困难、故障诊断精确度低的问题,提出一种基于混合注意力残差神经网络的齿轮箱故障诊断方法。该方法利用残差神经网络作为模型的特征提取网络,在特征提取网络中融合时域注意力与频谱通道注意力机制,以增强模型提取一维信号特征的能力。并对时域注意力分段以降低模型的计算量,根据多频谱通道注意力获取的不同通道权值,强化与故障分类相关的特征,抑制无关特征。采用东南大学数据集验证该方法的有效性,仿真结果表明,所提方法的平均诊断准确率为97.5%,同时在有噪声干扰测试集的情况下,所提方法的平均诊断准确率为85.5%,高于对比算法,表明该方法具有较高的故障诊断性能和较强的模型鲁棒性。

融合自注意力与残差神经网络的3D打印激光在机测量误差修正方法

激光测量能够实现高效地非接触实时测量,被广泛应用于3D打印领域,但激光测量容易受测量条件、外部环境等多种因素的干扰,这些因素错综复杂,难以量化分析。为此,结合直射式激光三角测量原理,在分析测量精度影响因素的基础上,提出了一种基于融合自注意力和残差神经网络的3D打印在机测量误差修正方法。首先,将影响测量精度的因素作为输入变量,采集激光测量值,得到样本数据集;然后利用残差网络提取出样本数据的深层次特征,并引入自注意力机制建立影响因素之间的联系,得到带权重的提取特征;再通过全连接网络对带权重特征进行学习,得到测量误差的预测值,基于该预测值完成对测量误差的修正。自主搭建了一套激光在机测量系统,采用红、绿、紫3种同材质彩色卡纸进行实验验证。结果表明,所提的方法与卷积神经网络和自注意力神经网络相比,均方误差、均方根误差和平均绝对误差均最小,稳定性最好,修正结果最接近真实值;对激光测量结果进行校正后,使其误差由原来的±28μm减小到±9μm以下,显著提高了3D打印激光在机测量的精度和稳定性。

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

基于监督对比学习和混合注意力残差网络的隔膜泵单向阀故障诊断

由于工业生产环境中的强噪声和其他环境激励,隔膜泵单向阀不同故障的特征呈现一定的相似性,导致传统深度学习方法对单向阀的故障状态难以准确识别。为解决这一问题,提出了一种结合监督对比学习和混合注意力残差神经网络(HA-ResNet)的隔膜泵单向阀故障诊断方法。首先,将注意力机制引入了残差神经网络以提升网络的学习能力,自适应调节了重要但微弱特征权重,并以恒等变换减少了有效信息被抑制现象;其次,提出了加权“监督对比损失(SCL)+交叉熵(CE)损失”,调节单向阀不同故障状态数据之间的距离,明确了单向阀不同故障状态的分类边界与降低噪声或环境激励的干扰;最后,通过工程实测数据,对监督对比学习和HA-ResNet融合方法的有效性和稳定性进行了验证。研究结果表明:监督对比学习和HA-ResNet融合方法在隔膜泵单向阀验证集上的平均准确率达到了99.3%;与其他故障诊断方法相比,其在诊断精度和稳定性上都具有一定的优势,验证了该方法在噪声干扰条件下故障诊断的可靠性。

多维注意力机制神经网络在电力工程数据中的应用研究

针对当前电力工程数据分析处理过程中过于依赖人工且数字化程度较低的问题,文中基于改进的神经网络结构,提出了一种电力工程数据分析算法。该算法对基础卷积神经网络进行了改进,并利用多尺度卷积核增强了神经网络的感知野。而对于多尺度神经网络收敛速度慢的问题,在粗细尺度网络之间加入了残差网络,同时通过加入多维时空卷积注意力机制增强了数据的编码能力,进一步提高了模型的收敛速度。仿真测试结果表明,由迭代实验确定出最佳迭代次数后,所提算法的平均预测准确率和运行时间分别为97.5%及38.2 s,在对比方法中均为最优,综合性能较为理想,可以实现对电力工程数据的合理分析与准确预测。

基于卷积神经网络和混合注意力机制的书标检测算法

为实现图书馆中机器人智能排架,提出一种基于卷积神经网络和混合注意力机制的书标检测模型。将DenseNet121引入YOLOv4以提高特征和梯度之间的传递效率,利用SPDC模块实现局部和全局特征融合,进而通过通道和空间混合注意力提高模型的特征表征能力。实验结果表明,模型的平均准确率、整体性能、参数量和模型大小均优于对比方法,且易于部署到嵌入式设备中实现在线检测,从而提高图书乱架治理的智能化水平。

基于混合神经网络和注意力机制的卒中后抑郁早期筛查分类方法研究

脑卒中后抑郁症(PSD)是卒中后常见的并发症之一,严重威胁着脑卒中患者的健康。目前PSD的诊断主要依据病人的临床表现及各种量表,这类方法存在一定的主观性。脑电图(EEG)结合深度学习技术有可能为PSD诊断提供客观标准。本研究采集28名脑卒中后无抑郁受试者(PSND)和38名脑卒中后轻度抑郁患者(PSMD)的EEG信号,提出了一种基于注意力机制的长短时记忆网络(LSTM)和卷积神经网络(EEGNet)特征融合的端到端的PSD诊断框架。采用LSTM模型来学习EEG信号在时序上的依赖关系,引入的注意力机制对LSTM模型中时域信息进行权重分配来提高有用信息的利用率,最终通过EEGNet模块来提取EEG信号中更具表征的深层特征。通过10折交叉验证得出准确度、精确度、召回率、F1-Score和Kappa系数,分别为95.90%、95.75%、96%、95.82%和91.60%。与基础的深度学习模型相比,本文的方法能保持稳定的模型性能,对PSD的诊断具有较高的准确性,为PSD的筛查和诊断提供了一定的参考。

基于多元变分模态分解和混合深度神经网络的短期光伏功率预测

针对传统分解预测方法忽略太阳辐照度等多维气象因素与光伏功率在时域和频域上的耦合关系以及深度神经网络在训练中出现的特征学习效率低、训练速度慢、过拟合等问题,提出基于多元变分模态分解(MVMD)和混合深度神经网络的短期光伏功率预测方法。首先,采用MVMD对光伏功率及多维气象序列进行时频同步分析,将其分解为频率对齐的多元本征模态函数,从而降低序列中非线性和波动性的影响。其次,针对多元本征模态函数,分别建立基于混合深度神经网络的预测模型。该模型采用卷积神经网络和双向长短时记忆神经网络来分别提取光伏功率及气象序列的空间相关特征和时间相关特征,并采用注意力机制来增强对重要时间点特征的学习权重。此外,使用残差连接来加快网络的训练速度以及缓解过拟合问题。通过实际工程实验分析,验证了该文方法的优越性。

基于注意力机制的混合神经网络电力设备缺陷文本挖掘方法

电网在运行过程中会产生大量的设备缺陷文本记录,针对变电设备缺陷文本的特点,文章提出了基于注意力机制的混合神经网络(hybrid neural network based on attention mechanism,HNNA)电力设备缺陷文本挖掘方法。首先在总结电力设备缺陷文本特点的基础上,参考中文文本分类的一般流程,结合自主编写的词典和停用词表对缺陷文本进行预处理;利用Word2vec模型将词语映射到高维空间;使用卷积神经网络(convolution neural network,CNN)和双向长短期记忆网络(bidirectional long short term memory,BiLSTM)提取文本局部特征和上下文特征;将提取的特征进行融合,最后采用Attention实现特征权重的分配,增强关键特征对分类效果的影响,并从多个评价维度与传统机器学习模型、深度学习模型对比。算例结果表明,提出的模型具有更好的分类效果,可以实现电力设备缺陷等级的高效准确划分。

基于集成时频通道注意力的倒残差神经网络干扰识别

准确识别干扰类型是实施高效抗干扰举措的先决条件。针对低干噪比(Jamming-to-Noise Ratio,JNR)的条件下干扰识别准确率低的问题,本文将信号短时傅里叶变换(Short Time Fourier Transform,STFT)后的时频图像作为卷积神经网络训练输入,提出一种以倒残差结构为主体的神经网络架构,并引入联合时频通道注意力机制模块,同时从时频图像提取时频域和通道域的综合干扰特征,充分利用多维度的干扰特征信息来准确识别干扰类型。仿真结果表明,在JNR=-8 dB时,本文所提算法能够实现对8种类型干扰100%的准确识别,在JNR=-10 dB时所有类型的干扰信号识别准确率都能达到98.3%以上,在JNR=-14 dB准确率也依然可以达到90%以上。同时分析了所提算法的网络复杂度,结果表明所提方案在时间和空间复杂度上得到了较好的折中,验证了模型的性能优越性。

基于稠密连接卷积神经网络与混合注意力的烟叶图像分级方法

针对烟叶实际收购过程中受环境与个人状态影响而导致分级准确率下降的问题,提出一种结合稠密连接卷积神经网络与混合注意力机制的深度学习模型。该模型通过改进残差注意力网络,在原网络注意力模块的主分支残差模块与网络输出阶段的多个残差模块上,使用稠密连接卷积模块进行替换,以增强分支特征学习性能并降低参数量,缓解梯度消失问题。同时,使用两个残差注意力网络的注意力机制模块,并添加空间注意力模块加权提取烟叶特征图在空间、通道维度的信息,以获取更全面的特征信息。通过10个等级共5 000张烟叶图像的实验表明,该网络在降低网络深度的同时,提升了检测速度与识别精度,分级正确率相较于原网络与VGGNet19分别提升8.19%、7.72%,网络参数量相较于ResNet34减少45%,训练速度提升38.11%,可证明该方法对不同等级烟叶均具有较好的识别效果和较快的识别速度,能较好地对生产中的烟叶进行分级。

基于改进卷积神经网络和射频指纹的无人机检测与识别

针对无人机(UAV)在图像识别时易受环境干扰,而传统信号识别难以准确提取特征且实时性较差的问题,提出一种基于改进卷积神经网络(CNN)和射频(RF)指纹的无人机检测识别方法。首先,使用通用软件无线电外设(USRP)捕获环境中的无线电信号,经过多分辨率分析获取偏差值,检测是否为无人机射频信号;其次,将检测到的无人机射频信号经过小波变换和主成分分析(PCA)处理,获得射频信号频谱,作为神经网络的输入;最后,构建轻量级残差神经网络(LRCNN),输入射频频谱进行网络训练,进行无人机的分类识别。实验结果表明,所提方法可以有效检测并识别无人机信号,平均识别精度可达84%;在信噪比(SNR)大于20 dB时,LRCNN的识别精度达到了88%,相较于支持向量机(SVM)、原始OracleCNN分别提高31和7个百分点,在识别精度和鲁棒性方面比这两种方法均有所提升。

基于混合神经网络的社交媒体攻击性言论识别方法研究

在社交媒体攻击性言论识别任务中,现有研究未能充分发挥不同神经网络的潜力和优势,导致识别准确度受限。针对上述问题,提出一种融合BERT预训练模型、双向长短期记忆网络(BiLSTM)、自注意力机制(SA)以及多尺度卷积神经网络(MCNN)的攻击性言论识别模型(BERT-BiLSTM-SA-MCNN)。首先,利用BERT预训练模型对输入文本数据进行编码转换;其次,通过BiLSTM网络与自注意力机制捕获文本的全局语义特征;再次,借助多尺度卷积神经网络提取文本中的重要局部特征;最后,通过全连接层进行攻击性言论的分类识别。实验结果表明,BERT-BiLSTM-SA-MCNN模型在社交媒体攻击性言论识别任务中表现出较好的性能,准确率、精确率、召回率和F1值分别达到86.67%、84.20%、89.74%和86.79%,具有较高的准确性和泛化能力。

基于端到端深度神经网络和图搜索的OCT图像视网膜层边界分割方法

视网膜层边界的形态变化是眼部视网膜疾病出现的重要标志,光学相干断层扫描(optical coherence tomography,OCT)图像可以捕捉其细微变化,基于OCT图像的视网膜层边界分割能够辅助相关疾病的临床判断.在OCT图像中,由于视网膜层边界的形态变化多样,其中与边界相关的关键信息如上下文信息和显著性边界信息等对层边界的判断和分割至关重要.然而已有分割方法缺乏对以上信息的考虑,导致边界不完整和不连续.针对以上问题,提出一种“由粗到细”的基于端到端深度神经网络和图搜索(graph search,GS)的OCT图像视网膜层边界分割方法,避免了非端到端方法中普遍存在的“断层”现象.在粗分割阶段,提出一种端到端的深度神经网络—注意力全局残差网络(attention global residual network,AGR-Net),以更充分和有效的方式提取上述关键信息.具体地,首先设计一个全局特征模块(global feature module,GFM),通过从图像的4个方向扫描以捕获OCT图像的全局上下文信息;其次,进一步将通道注意力模块(channel attention module,CAM)与全局特征模块串行组合并嵌入到主干网络中,以实现视网膜层及其边界的上下文信息的显著性建模,有效解决OCT图像中由于视网膜层形变和信息提取不充分所导致的误分割问题.在细分割阶段,采用图搜索算法去除AGR-Net粗分割结果中的孤立区域或和孔洞等,保持边界的固定拓扑结构和连续平滑,以实现整体分割结果的进一步优化,为医学临床的诊断提供更完整的参考.最后,在两个公开数据集上从不同的角度对所提出的方法进行性能评估,并与最新方法进行比较.对比实验结果也表明所提方法在分割精度和稳定性方面均优于现有方法.

基于多残差注意力深度收缩网络的超微光图像增强方法

超微光成像可在极度黑暗的环境中给观察者提供近乎白昼的视觉体验,在许多民用和军事应用中起着至关重要的作用。超微光环境下拍摄的图像和视频通常存在亮度与对比度极低、噪声水平高、场景细节和色彩严重缺失等固有缺陷,近年来,深度学习为超微光成像的研究带来了新的机遇。文中采集并提供了一组实用性更强的超微光训练数据集,提出了一种多残差注意力深度收缩网络(Multi Residual Attention Shrinkage Network),以此实现了一种新的超微光成像方法。通过成功研制的小型化样机证实了该方法的工业量产前景。实现了基于通道注意力和空间注意力的残差内注意力机制,以及基于深度软阈值收缩的外注意力机制,不仅可以有效提取并还原极低照度环境下的图像细节信息,恢复场景真实色彩,而且可以有效去除此类环境下由成像设备感光不足带来的巨量噪声。实测效果显示该方法可对极低照度环境进行有效的增强且实时性高。通过与多种业界最新方法比较,文中方法在主观视觉体验以及客观参数两方面均表现更好。

基于纹理先验的扩张残差注意力相似性去噪网络

目前,大多数基于卷积神经网络的图像去噪模型不能充分利用图像数据的冗余性,这限制了模型的表达能力。而且,为了有效去噪,往往将边缘信息用作先验知识,而纹理信息通常被忽略。针对这些问题,提出一种新的图像去噪网络,该网络首先使用注意力相似性模块提取图像的全局相似性特征,通过平均池化来平滑和抑制注意力相似性模块中的噪声,以进一步提高网络性能;其次使用扩张残差模块来提取图像的局部和全局特征;最后使用全局残差学习增强网络从浅层到深层的去噪效果。此外,还设计一种纹理提取网络从噪声图像中提取局部二值模式以获取纹理信息,利用纹理信息作为先验知识,可在去噪过程中保留演化图像中的细节。实验结果表明,与一些先进的去噪网络相比,新提出的去噪网络在图像视觉上有很大改善、效率更高且峰值信噪比提高了2 dB左右,结构相似性提高了3%左右,更有利于实际应用。

基于残差混合注意力机制的脑部CT图像分类卷积神经网络模型

针对阿尔兹海默症、病变(如脑肿瘤)和健康老化的3类脑部CT图像分类问题,本文提出了一种改进的ResNet-10卷积神经网络模型.该模型在网络的残差映射结构中加入残差混合注意力模块,解决了原模型提取的特征分辨性弱的问题,精确捕捉了脑部组织在CT图像中的位置和内容信息;此外,本文设计了全局平均池化层,简化了模型的复杂度,并在其后引入Dropout机制,缓解了过拟合.在训练阶段,该模型建立了标签平滑交叉熵损失函数,使模型在样本数量有限的情况下仍有较强的泛化能力.系列实验证明了改进后的ResNet-10网络模型在分类脑部CT图像时达到97.47%的分类精度.

基于深度残差网络和注意力机制的特殊车牌识别

为解决现有车牌识别算法在面对旋转倾斜车牌以及双行车牌图像时识别精度偏低的问题,提出一种基于深度残差网络和注意力机制的特殊车牌识别算法。优化深度残差网络结构,使模型更好提取低分辨率车牌图像的特征;取消对特征图平均池化操作,在保留图像全局特征的前提下,将多维特征化为特征序列;引入注意力机制对特征序列并行解码,加快模型推理速度,提升特殊车牌的识别精度。实验结果表明,与现有的文字识别模型CRNN、DAN、ASTER对比,在公开车牌数据集CCPD上取得了更高的准确率,验证了模型的有效性。

基于视觉的神经网络三维动态手势识别方法综述

动态手势识别作为一种重要的人机交互手段而受到广泛关注,其中基于视觉的识别方式因其使用便利性和低成本的优势成为新一代人机交互的首选技术。以人工神经网络为中心,综述了基于视觉的手势识别方法研究进展,分析了不同类型人工神经网络在手势识别中的发展现状,调研并归纳总结了待识别数据和训练数据集的类型及特点;此外,通过开展性能对比实验,客观评估了不同类型的人工神经网络,并对结果进行了分析。最后,对调研内容进行了总结,对该领域面临的挑战和存在的问题进行了阐述,对动态手势识别技术的发展趋势进行了展望。