基于STFT和CNN-Attention的配电终端采集模块故障诊断研究

针对复杂工况运行环境下配电终端采集模块故障类型难以识别的问题,提出一种基于短时傅里叶变换(STFT)、卷积神经网络和注意力机制(CNN-Attention)的配电终端采集模块故障诊断方法。首先,分析配电终端采集模块不同故障类型会产生的对应故障数据,建立故障数据集。然后,基于STFT提取故障数据的故障时频特征以形成时频图,采用CNN-Attention模型对时频图进行故障诊断与匹配。算例分析表明,CNN-Attention的故障检测准确率为97.31%,相较于CNN和极限学习机(ELM)模型,故障诊断准确率分别提升了1.22%和4.4%。Attention机制能够有效解决CNN在特征提取时产生的冗余信息导致模型训练慢、难以收敛的问题。该研究实现了配电终端采集模块具体故障类型的准确识别,能为后续配电终端的运维提供参考。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

基于多尺度与注意力机制的两阶段风暴单体外推研究

风暴是一种生命周期短、发生突然、空间尺度小的自然现象,常用雷达回波外推方法进行预测,但时序预测模型难以在众多特征中定位风暴关键信息,导致预测精度低,模型无法充分学习图像高频信息,导致预测细节缺失,结果模糊。为了提升预测性能,提出两阶段风暴单体外推框架。第一阶段使用多尺度模块提取多尺度信息,注意力机制挖掘影响预测的重要特征,使用时空长短期记忆单元进行序列预测。第二阶段对一阶段结果进行偏差矫正,使用频域损失丰富外推细节。实验结果表明,在雷达回波数据集上,与主流模型PredRNN-V2相比,该模型均方误差降低11.4%,SSIM提升4.3%,在风暴单体外推任务中表现优越。在Moving MNIST数据集上,均方误差降低4.95%,感知损失降低12.67%,SSIM提升至0.898,具有良好的时序预测能力。

基于时频域融合和ECA-1DCNN的航空串联故障电弧检测

为了快速准确地检测航空交流线路中出现的串联故障电弧,提出了一种基于时频域融合和加入高效注意力机制(efficient channel attention, ECA)的一维卷积神经网络(one-dimensional convolutional neural network, 1DCNN)的故障检测算法。首先,搭建航空交流电弧故障实验平台,负载选择多类型、多参数值进行电流信号的采集;其次,为了保留更多的故障信息,分析其特征频段,经过大量数据验证,航空串联电弧在发生时,1 000~4 000 Hz分量具有一定的占比,因此将原始信号与特征频段进行融合,融合后的一维数据作为模型输入;最后,搭建ECA-1DCNN检测模型,进行训练,并通过K折交叉验证模型的有效性,得到测试集平均准确率为97.96%。该方法网络层数较少,计算快速,避免了复杂时频域计算过程,较为智能,对航空串联电弧检测装置的研究提供了理论参考。

基于改进Faster R-CNN的红外目标检测算法

为提升红外目标的检测精度,提出了一种引入频域注意力机制的Faster R-CNN红外目标检测算法。首先,针对红外图像边缘模糊和噪声问题,设计了一种并行的图像增强预处理结构;其次,在Faster R-CNN中引入频域注意力机制,设计了一种新型红外目标检测主干网络;最后,引入路径增强金字塔结构,融合多尺度特征进行预测,利用底层网络丰富的位置信息,提升检测精度。在红外飞机的数据集上进行实验,结果表明,改进后的Faster R-CNN目标检测框架比以ResNet50为主干的算法的AP提升了7.6%。此外,与目前主流算法对比,本文算法提高了红外目标的检测精度,验证了算法改进的有效性。

基于时频融合深度网络的矿用钻机轴承故障诊断

针对矿用钻机低速重载工作特性导致其轴承故障特征微弱、噪声大的问题,考虑单一模态下故障诊断的局限性,提出了一种基于时频融合深度网络的矿用钻机轴承故障诊断方法,对时域和时频域两种模态特征进行联合提取与分析。所设计的诊断网络在不同模块中区分性地嵌入不同注意力机制,实现多维度关键故障特征提取。最后通过钻机实验台数据集和凯斯西储大学轴承数据集进行验证。结果表明:所提方法能自动提取丰富的钻机轴承故障特征,比仅在时域或时频域分析具有更高的准确率和抗噪能力。

融合多尺度和频域特征的目标身份识别技术

拍摄设备、角度和光线的差异以及相似目标的干扰,给跨设备目标身份识别任务带来了严峻挑战。针对识别过程存在的类内差异和类间相似问题,提出了一种融合多尺度和频域特征的识别模型,在主干网络中加入注意力机制提高模型对高辨识特征的关注度;在分支网络中,设计了一种基于注意力的多尺度扩张融合模块对不同深度特征进行多粒度采样融合,增强网络的空间映射能力;在后处理阶段构造自学习的频域卷积模块,实现多尺度和频域特征的融合,利用频域信息提高度量相似目标的准确率。经过实验,算法在Veri776和VehicleID数据集的平均均值精度(mAP)和首次命中精度(Rank-1)分别获得了81.60%、97.20%和90.50%、85.30%,结果优于近些年主流方法,能够满足跨设备的多目标身份识别要求。

基于多路信息聚合协同解码的单通道语音增强

为了改善基于卷积编解码架构的单通道语音增强网络对语音声学特征提取不充分、解码特征丢失严重的问题,提出一种基于多路信息聚合协同解码的单通道语音增强网络MIACD,通过双路编码器充分提取融入了语音自监督学习(SSL)表征的幅度谱和复数谱特征,由4层Conformer分别从时间和频率维度对提取特征建模,采用残差连接将双路编码器提取的语音幅度、复数特征引入三路信息聚合解码器,并利用所提通道-时频注意力(CTF-Attention)机制根据语音能量分布情况调节解码器中聚合信息,有效缓解解码时可用声学信息缺失严重的问题。在公开数据集Voice Bank DEMAND上的实验结果表明,与用于单通道语音增强的协作学习框架(GaGNet)相比,MIACD在客观评价指标宽带感知评估语音质量(WB-PESQ)上提升了5.1%,短时客观可懂度(STOI)达到96.7%,验证所提方法可充分利用语音信息重构信号,有效抑制噪声并提升语音可理解性。

基于时空图卷积网络和自注意机制的频率稳定性预测

针对传统数据驱动预测方法对电力系统频率稳定性预测的时空特性利用不充分、新拓扑下泛化能力差和可解释性较弱的问题,该文提出了一种基于自注意力机制和时空图卷积网络(STGCN)的频率稳定性预测方法。STGCN预测方法利用一维时间卷积层提取系统时间信息,利用切比雪夫图卷积通过近似拉普拉斯矩阵的多项式函数执行图卷积操作,从而捕获各母线及其邻居的拓扑结构信息;然后,采用基于自注意力机制的可微分图池化层来获得各母线注意力得分以对预测模型的决策过程进行可解释性分析,该分层池化策略允许模型尽可能地保留有价值的节点特征,并根据保留特征和动态拓扑有效分配节点以提高模型的泛化能力与鲁棒性;最后,在修改的新英格兰39节点系统和ACTIVSg500节点系统上的测试验证了所提方法的有效性。与传统方法相比,该文所提STGCN具有更高的预测精度、更好的鲁棒性和泛化能力。同时,该方法可以提供系统内各母线对预测结果的具体影响。

引入注意力机制和参数优化的TCN短期风电功率预测

为提高短期风电功率预测的准确性,提出一种基于频率注意力机制和粒子群优化的时间卷积网络短期风电功率预测模型。首先,利用灰色关联分析方法计算气象变量与风电功率的关联度,选取特征变量;其次,引入频率注意力机制改进时间卷积网络残差块,赋予通道不同权重,并基于粒子群优化算法优化时间卷积网络超参数,搭建预测模型;最后,以黑龙江某风电场实测数据为例进行仿真分析,实验结果表明,所提方法能够充分提取风电功率序列的时序特征,提高短期风电功率预测精度。

基于改进DeeplabV 3+的HFSWR电离层杂波及海杂波自动识别

针对高频地波雷达(HFSWR)回波谱中背景噪声复杂、杂波占比较小且电离层杂波形态位置各异,难以自动识别的问题,以DeeplabV3+深度学习算法为基础架构并加以改进,提出一种HFSWR电离层杂波及海杂波自动识别方法。选用轻量级MobileNetV2作为主干特征网络,加入通道注意力机制模块SENet,实现对杂波标签的侧重学习,优化训练集中各类标签的损失权重;采用模型预训练迁移法对网络进行预训练,解决样本空间过小的问题。实测数据集上的实验结果表明,本方法可以实现HFSWR电离层杂波及海杂波的自动识别。相比原DeeplabV3+算法,杂波识别结果更为准确和精细,海杂波识别结果的平均交并比(mIoU)和准确率(ACC)分别提升2.9%和5.1%;电离层杂波识别结果的mIoU和ACC分别提升3.0%和4.9%。

基于并行多注意力的语音增强网络

针对受干扰语音的频域增强问题,提出一种基于并行多注意力机制和编解码结构的语音增强网络(PMAN)。网络输入经过短时傅里叶变换(STFT)的语音频域特征,包含振幅谱和复数谱,编码器使用密集卷积模块对输入数据信息进行整合,中间层的并行多注意力模块学习频域的局部和全局信息,并融合局部块注意力(LPA)机制捕捉语音频域二维(2D)结构,实现干净语音与干扰因素的2D层面分离。解码器将学习到的信息进行整合,分别生成振幅掩模和复数频谱,根据加权求和生成最终的语音复数频谱,使用时域与频域联合损失函数实现相位信息的融合。在VoicеBank+DEMAND语音数据集上的实验结果表明,与基于两阶段变换器的时域语音增强神经网络(TSTNN)相比,经过PMAN增强后语音的客观语音质量评价(PESQ)、短时客观可懂度(STOI)、分段信噪比(SSNR)指标值分别提升10.8%、1.1%、11.8%,具有较好的语音增强效果。

基于彩色图像高频信息引导的深度图超分辨率重建算法研究

深度图像信息是三维场景信息的重要组成部分,然而,由于采集设备的局限性和成像环境的多样性,深度传感器获取的深度图像往往分辨率较低、高频信息较少,限制了其在各种计算机视觉任务中的进一步应用。深度图超分辨率试图提高深度图的分辨率,是一项实用而有价值的任务。同一场景下的RGB图像分辨率高,纹理信息丰富,部分深度图超分辨率算法通过引入来自同一场景下的RGB图像提供指导信息,实现了算法性能的显著提升。然而,由于RGB图像和深度图之间的模态不一致,如何充分、有效地利用RGB信息辅助深度图像进行图像超分辨率重建仍然极具挑战。为此,提出了一种基于彩色图像高频信息引导的深度图超分辨率重建算法。具体地,设计了一个高频特征提取模块来自适应地学习彩色图像中的高频信息,以指导深度图边缘的重建。另外,设计了一个特征自注意力模块来获取特征之间的全局依赖,同时提取更深层次的特征,以帮助深度图细节信息的恢复。经过跨模态融合,重组深度图像特征和彩色图像引导特征,并使用多尺度特征融合模块融合不同尺度特征之间的空间结构信息,获取包含多级感受野的重建信息。最后,通过深度重建模块,恢复相应的高分辨率深度图。公开数据集上的实验结果表明所提方法在定量和定性两方面均优于对比方法,验证了所提方法的有效性。

基于多分主干外部注意力网络的水声信号识别

水声信号识别近年来备受关注,由于海洋信道具有时变空变性、信号传播的衰落特性和水下目标声源具有复杂多变性,水声信号识别任务面临巨大挑战.传统的水声信号识别方法难以充分获取目标的表征信息且不具备良好的抗噪声能力,识别效果有待提升.针对上述问题,本文提出一种基于多分支外部注意力网络(multi-branch external attention network,MEANet)的水声信号识别方法,可以在复杂海洋环境下充分获取水声信号的特征并进行识别.MEANet由多分支主干网络,通道、空间注意力模块和外部注意力模块组成.首先,输入数据通过多个并行的主干网络分支,提取水声信号不同层级的特征信息;其次,辅以通道、空间注意力模块对水声信号的通道和空间维度分别进行加权,调节不同通道和空间位置对特征表示的重要性;最后,整合外部注意力模块,以外部记忆单元和附加计算来引导网络的特征提取和预测,从而显著提高模型的识别率和鲁棒性.实验结果表明,本文提出的MEANet在ShipsEar数据集上的水声信号识别率达到98.84%,显著优于其他对比算法,证实了其有效性.

结合空间域和频域信息的双分支低光照图像增强网络

针对低光照图像增强中纹理细节模糊和颜色失真的问题,从空间域和频域信息结合的角度出发,提出一个端到端的轻量级双分支网络(SAFNet)。SAFNet使用基于Transformer的空间域处理模块和频域处理模块在空间域分支和频域分支分别对图像的空间域信息和傅里叶变换后的频域信息进行处理,并通过注意力机制引导两个分支的特征进行自适应融合,得到最终增强的图像。此外,针对频域信息提出一个频域损失函数作为联合损失函数的一部分,通过联合损失函数在空间域和频域都对SAFNet进行约束。在公开数据集LOL和LSRW上进行实验,在LOL上,SAFNet在客观指标结构相似性(SSIM)和学习感知图像块相似度(LPIPS)两项指标上分别达到0.823和0.114;在LSRW上,峰值信噪比(PSNR)和SSIM分别达到17.234 dB和0.550,均优于LLFormer(Low-Light Transformer)、IAT(Illumination Adaptive Transformer)、KinD(Kindling the Darkness)++等主流方法,且网络参数量仅为0.07×10^(6);在DarkFace数据集上,使用SAFNet作为预处理步骤对待检测图像进行增强,可以使人脸检测平均精确率从52.6%提升至72.5%。实验结果表明,SAFNet能有效提高低光照图像的质量,并能显著改善下游任务低光照人脸检测的性能。

5G通信环境下基于注意力机制的配电网单相接地故障选线技术

由于传统技术在配电网单相接地故障选线中应用效果不佳,不仅选线正确率比较低,而且选线耗时比较长,无法达到预期的故障选线效果,为此提出5G通信环境下基于注意力机制的配电网单相接地故障选线技术。在5G通信环境下利用信号感知器拾取配电网线路暂态量信号,并对感知信号双边滤波处理,通过对暂态量信号S变换,提取到配电网线路故障信号时频特征,利用注意力机制选择单相接地故障线路,以此完成5G通信环境下基于注意力机制的配电网单相接地故障选线。经实验证明,设计技术选线正确率在95%以上,选线耗时在1s以内,在配电网单相接地故障选线方面具有良好的应用前景。

基于LSTM-Attention的RFID移动对象位置预测

随着射频识别(RFID)技术的不断发展,其相比全球定位系统(GPS)具有高精度、数据信息量大的优势,将其应用于智能交通以预测移动对象位置受到广泛关注。然而,由于其定位基站分布离散,并且不同基站对位置预测的影响权重不同,以及长期的历史信息会来带维数灾难等,移动对象的位置预测面临着严峻的挑战。针对这些挑战,在分析现有预测算法的不足的基础上,提出了一种长短期记忆网络(LSTM)和注意力(Attention)机制相结合的机器学习模型(LSTM-Attention)。该算法将one-hot编码后的输入向量通过神经网络进行降维处理后,利用注意力机制来发掘不同的定位基站对位置预测的权重影响,最后进行位置预测。在南京交管局提供的RFID数据集上进行的对比实验表明,与现有算法相比,所提算法在预测准确性上有明显的提升。

基于残差注意力神经网络模型的癫痫脑电信号分类

目的针对癫痫脑电信号特征提取过程复杂、信息提取不充分及分类精度较低等问题,本文提出一种基于残差注意力神经网络模型(residual attention module neural network,RAM-Net)用于实现癫痫脑电信号的自动分类。方法首先对脑电信号进行去噪和分段处理,使网络更有效提取细节特征;然后根据脑电信号在时频域幅值特点,将信号转换为二维时频图像作为模型输入;最后借鉴残差网络思想,在每个残差块中融合注意力机制,构建分类模型,在临床数据集上做验证。结果该方法分类准确率为97.16%,精确率为97.00%,可实现癫痫发作、间期和正常状态的脑电信号三分类。结论基于RAM-Net的癫痫脑电信号分类方法将脑电信号转化为二维图像,降低了方法复杂度;融合注意力机制增强了网络的有效信息提取能力,可为癫痫临床辅助诊断提供一种新的分析思路和处理方法。

低信噪比条件下无人机射频信号实时检测方法

无人机射频信号检测技术是实现未来空管系统中自动化无人机检测的关键技术。针对低信噪比条件下无人机射频信号检测准确率较低的问题,本文提出了一种基于多分支卷积结构以及注意力机制的射频信号检测模型。该方法首先设计了一种由多分支卷积结构组成的轻量化骨干网络来提取信号完整时频谱中的微小时变特征,提升模型对抗噪声的能力。其次使用注意力机制增强模型对时频谱中的信号区域的表达,抑制对噪声区域的关注,进一步提升信号检测准确率。本文在两个公开数据集上开展实验评估模型性能,对比实验结果表明本文提出的检测模型可以有效地在低信噪比条件下提升无人机射频信号检测准确率,在-15 dB至-6 dB的低信噪比范围下的检测准确率可分别达到94.63%和94.75%,-15 dB至15 dB全信噪比范围下的准确率分别为97.50%和97.35%,较以往方法有大幅提升。消融实验结果表明,多分支结构和注意力机制可分别带来3.74%和1.56%的性能提升。推理速度测试实验表明本文模型的推理时间仅需1.61 ms,可以运用于无人机信号的实际检测系统中。

基于Swin Transformer的服装图像分类方法研究

在服装图像分类任务中,背景会使服装的轮廓和位置难以确定。为降低背景对服装图像分类的影响,提高分类准确度,提出了一种基于Swin Transformer的服装图像分类方法。这种方法使用新颖的Swin Transformer网络作为基础网络,利用傅里叶变换获取图像的高低频信息,筛选出合适的高低频图像,有效提取高频特征,并引入弱监督选择机制,确定服装在图像中的具体位置。为了确定这一分类方法的有效性,使用部分DeepFashion服装数据集的数据进行验证。实验结果表明,文中提出的引入高频信息和弱监督机制的Swin Transformer方法在服装图像分类上效果显著,可达84.0%的Top1准确率,相比原Swin Transformer基础模型能提升4.1%的准确率。