基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

融合注意力机制卷积神经网络的扬声器异常声分类

针对扬声器异常声非线性、非平稳且易受外部噪声干扰,以及因特征冗余而导致扬声器异常声识别率偏低的问题,提出一种基于变分模态分解(variational mode decomposition, VMD)和一维卷积循环注意力网络(1DCNN-BiLSTM-Attention)相结合的扬声器异常声分类方法。首先,采集不同类型异常声信号,采用VMD对异常声信号进行分解并提取扬声器异常声特征,构建标签化的初始数据;其次,将特征数据输入至1DCNN-BiLSTM网络中进行初始化特征提取,利用注意力机制自适应优化网络对异常声特征的学习权重,提升网络对特征鉴别能力,并优化Dropout抑制网络在训练过程中存在的过拟合问题,构成1DCNN-BiLSTM-Attention分类网络;最后,将所提方法应用于扬声器异常声分类中。实验结果表明:该方法可以有效提取到扬声器异常声中的关键特征,平均分类准确率为99.17%,与VGG16、RF和DCNN相比,其准确率分别提高了13.14%、0.56%,12.34%。

基于自注意力和门控循环神经网络的雷达回波外推算法研究

为提升现有神经网络对雷达回波序列的时、空特征提取能力,建立外推性能更优的时、空序列预测模型,开展雷达回波外推算法改进研究。基于深圳市气象局与中国香港天文台共同建立的雷达回波数据集,在数据处理层面,通过改进对雷达回波图像序列归一化的方法,提升了常用的5种时、空序列预测模型对强回波的预测水平;在模型算法层面,将两个联立的自注意力结构引入ST-LSTM结构,组成新的循环门控单元,并将这些循环门控单元进行堆叠,建立ST-SARNN模型。选用CSI和POD作为精度评价指标,进行模型对比分析得到:(1)改进的归一化方法提升了近几年内常用的5种时、空序列预测模型对强回波的预测水平。(2)加入自注意力的ST-SARNN模型对雷达回波的预测性能显著优于ConvLSTM、PredRNN和MIM等模型。改进的归一化方法能改变样本数据分布,并在一定程度上提升模型外推性能;自注意力结构能够有效挖掘雷达回波序列的时、空特征,进而改进神经网络的外推表现。

循环神经网络和注意力增强的门控图神经网络会话推荐模型

现有大部分基于图神经网络的会话推荐系统都可较好捕捉商品在会话图中的近邻上下文关系,但少有重点关注时序关系的系统.然而,这两种关系都对电商场景下的精准推荐具有重要作用.为此,文中基于双向长短期记忆网络和门控图神经网络,提出循环神经网络和注意力增强的门控图神经网络会话推荐模型,旨在实现不同网络结构的优势互补,充分学习用户在当前会话中表现的兴趣偏好.具体地,文中模型采用并行化框架结构,分别学习电商场景下用户会话点击流中商品间的近邻上下文特征和时序关系,再分别使用注意力机制进行去噪处理,最后基于门控机制实现这两种特征间的自适应融合.在3个真实数据集上的实验表明文中模型的性能较优.文中模型代码见https://github.com/usernameAI/RAGGNN.

基于注意力卷积神经网络的视觉里程计

传统的视觉里程计(visual odometry,VO)要求图像含有大量的纹理信息,且求解过程较为复杂。针对以上问题提出基于注意力卷积神经网络的视觉里程计,对相机进行端到端的位姿估计,利用注意力机制提高模型估计轨迹的精度。首先,使用注意力-卷积神经网络(convolutional neural networks,CNN)模块提取图像特征;然后,将特征输入到门控循环单元(gated recurrent unit,GRU)学习图像的时序连接性;最后,通过全连接层降维输出相机位姿。在KITTI数据集上完成实验,并与其他方法进行对比,结果表明卷积网络中加入注意力机制可以有效提高轨迹估计的精度,且误差低于其他视觉里程计算法。

基于注意力机制循环神经网络的液体火箭发动机故障检测

针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神经网络(Convolutional Dual Stage Attention Based Recurrent Neural Networks,CDA-RNN),从而建立故障趋势预测模型。通过对预测残差进行自相关性分析并定义故障置信概率,提出了故障检测量化依据。利用发生微弱故障的热试车数据进行验证,结果表明,CDA-RNN模型对非稳态工作段微弱故障多参数检测具有良好鲁棒性,该方法十分有效,具有直接应用价值。

基于注意力机制多尺度卷积神经网络的轴承故障诊断

提出了基于注意力机制的多尺度卷积神经网络(Multi-scale and Attentive Convolutional Neural Network,MACNN)进行轴承故障分类,该模型以一维Resnet18网络结构为主体,卷积模块采用残差模块和空洞卷积并行方式以达到扩大感受野、避免特征信息丢失的目的,同时利用注意力机制可以自动提取有用特征的能力,将模型提取特征作为输入送入注意力机制模块,进一步提高模型故障分类能力。此外,采用边界平衡生成对抗网络(Boundary Equilibrium Generative Adversarial Networks,BEGAN)模型对故障数据增强,改变不平衡数据集的比例,增加数据集样本数量,降低MACNN模型的过拟合,提高诊断的准确率。在帕德博恩轴承数据集(Paderborn University Dataset,PU)上验证MACNN模型,实验结果表明,该模型在特征提取和故障分类方面都表现出了良好的性能,优于当前主流模型。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

融合注意力机制和新型卷积神经网络的市政道路病害识别

环境和荷载协同作用导致的路面病害对道路使用性能和安全性能的影响日益突出。现有图像智能识别算法难以实现处理速度和计算量的平衡。针对道路病害快速准确实时识别的需求,对石家庄损伤较为严重的路面进行实地拍照,结合已有图片,采用数据增强技术构建了市政道路病害数据集,并且提出了一种基于MobileNetV3网络的轻量化道路病害识别网络模型GEM-MobileNetV3。该模型首先使用Ghost模块代替MobileNetV3网络基本单元中的1×1卷积;然后结合改进后的高效通道注意力机制(efficient channel attention,ECA)模块提取病害目标的重要特征;最后将网络浅层的ReLU激活函数替换为泛化能力更强的Mish激活函数,提高模型的整体性能。通过消融实验与对比实验,验证了新模型的有效性。实验结果表明,新模型准确率达到96.33%,其参数量与计算量较MobileNetV3模型分别降低了37.9%和36%。提出的新模型在保持较高识别准确率的同时有效降低了模型复杂度,为在低成本计算平台上实现高准确率实时识别提供了新途径。

基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测

居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。

高效通道注意力结合卷积神经网络的近红外光谱分析模型研究

近红外光谱分析技术有无损、高效的特点,在各领域都有广泛应用。但传统分析模型在面对近红外光谱数据量激增时往往出现预测精度不高、泛化能力差等问题。为此,提出一种基于卷积神经网络(CNN)与高效通道注意力(ECA)模块相结合的近红外光谱分析模型(CNNECANet),该模型由8个一维卷积层、1个ECA模块、4个最大池化层、1个展平层、2个全连接层和1个参数优化器组成。ECA模块由1个全局平均池化、1个一维卷积层和1个Sigmoid激活函数组成。以啤酒、牛奶、柴油、谷物的近红外光谱公共数据为例,将CNNECANet与常用建模方法进行比较,CNNECANet比PLS的预测精度分别提高了30.3%、14.1%、29.5%、48.4%;CNNECANet比SVR的预测精度分别提高了33.5%、17.6%、39.0%、50.0%;CNNECANet比BP神经网络模型的预测精度分别提高了80.0%、29.0%、7.2%、42.7%。该模型具有更好的预测精度和鲁棒性,解决了传统近红外光谱建模算法容易出现过拟合、模型泛化性差等问题。

基于双阶段注意力机制循环神经网络的交通流预测

随着深度学习的发展,交通流预测的准确率越发提高,对时间序列的交通流预测进行研究,基于一种双阶段注意力机制循环神经网络模型(DA-RNN),以解决当前在交通流量的时间序列预测中存在的难以捕捉时间数据序列之间的相关性导致预测不够准确的问题,并解决实验中存在的过拟合现象。论文基于PEMS04数据进行实验并将预测结果与LSTM、GRU模型的预测结果进行对比,表明该时序预测模型具有良好的性能,可为交通管理与控制提供有效依据。

ECPANet:一种基于注意力的深度卷积神经网络通道剪枝方法

在深度学习领域中,卷积神经网络的快速发展导致了先进模型需要大量的计算和存储资源。然而,将这些模型部署到计算和存储资源受限且高实时性的嵌入式设备上变得越来越具有挑战性。为解决这个问题,通道剪枝已成为网络压缩的主要方法之一。传统的通道剪枝方法存在着精度下降和难以确定通道重要性的问题。针对这些问题,提出了一种高效的通道注意力剪枝方法。通过将ECPANet模块嵌入到深度卷积神经网络中以增强其表征能力,评估每个通道在特征映射中的重要性,并根据通道重要性因子剪枝掉不重要的通道以减小模型的大小和计算量。实验结果表明,与传统的通道剪枝方法相比,基于注意力的通道剪枝方法能够更准确地确定通道重要性,从而提高剪枝效果和模型性能。

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。

基于注意力机制优化组合神经网络的电力缺陷等级确定方法

为解决电力缺陷描述专业词汇较多分词准确率不佳以及单一神经网络模型自身存在不足的问题,提出了基于注意力机制优化组合神经网络的电力缺陷等级确定方法。该方法使用分布式字粒度向量对电力缺陷描述进行表示,使用由卷积神经网络和双向长短时记忆网络组成的卷积循环神经网络对电力缺陷描述的局部特征和序列特征进行特征提取,采用注意力机制对组合神经网络得到的语义特征进行权重分配,减少关键特征的丢失,进一步增强关键信息对分类结果的影响。以云南电网公司2014年—2019年间11万条缺陷描述数据作为实验对象,文中所提方法的Acc、MF_(1)值和WF_(1)值分别为0.9275、0.9112和0.9275,验证了该方法在电力缺陷等级确定中的有效性和可行性,为电网的智能化运行提供帮助。

引入注意力机制时空深度神经网络的再热器温度偏差预测方法

锅炉再热器是将低压蒸汽再进行加热至一定温度的蒸汽过热器,其稳定运行对于燃煤机组的安全和高效生产具有重要意义。在锅炉运行过程中,由于炉膛出口和水平烟道中存在残余旋转动量,造成再热器两侧出口温度产生偏差,偏差过大时有可能导致爆管事故的发生。为实现再热器温度偏差的提前预测,设计一种基于注意力机制的时空融合深度神经网络模型,分别采用卷积神经网络和门控循环神经网络提取空间和时间信息,同时引入注意力机制对各类特征进行赋权,以提升预测精度。该模型同时发挥卷积神经网络在空间信息处理和门控循环神经网络在时间信息处理方面的优势,并充分利用特征图上通道注意力机制的全局信息,解决单个模型特征信息提取不充分问题。在燃煤电厂实际数据中的应用结果表明,与其他深度学习方法相比,所提出的方法具有更高的预测精度,其均方根误差、决定系数、预测准确率分别为0.962、1.342、0.985。

基于循环卷积神经网络的上下文感知协同过滤推荐模型

随着网络信息的爆炸式增长,推荐系统在缓解信息过载和信息迷航问题方面发挥着关键作用.如何更好地利用海量的网络信息挖掘用户的偏好和项目的特征成为当前研究的热点.针对这一热点,本文设计了一种深度混合模型从而更充分的提取文本上下文信息特征辅助推荐,提出的基于循环卷积神经网络的上下文感知协同过滤推荐模型通过利用循环卷积神经网络挖掘项目描述文本上下文信息中的特征,再结合概率矩阵分解实现评分预测.此外,探究利用多头注意力机制重点关注文本上下文信息中的多项重要信息.模型在两个公开数据集ML-100k和ML-10m上进行了实验,实验结果表明,本研究所提出的模型在RMSE和MAE评价指标上相较于广泛使用的基线模型有明显改进,其中RMSE指标在ML-100k数据集上的有效性比aSDAE高出5.42%.

基于卷积循环神经网络的运动想象脑电信号模式识别

脑机接口技术可以帮助运动障碍人员通过外部设备与环境进行交互。为了提高对运动想象激发的脑电信号的识别率,提出一种基于卷积神经网络(Convolutional Neural Network, CNN)和循环神经网络(Recurrent Neural Network, RNN)的混合神经网络模式识别方法,并在实际计算中使用长短期记忆神经网络(Long Short-Term Memory, LSTM)和门控循环单元(Gated Recurrent Unit, GRU)两种不同的RNN进行对比。对原始脑电信号数据进行滤波和分段处理,将处理好的数据输入到混合神经网络中,使用Softmax进行分类,用BCI竞赛IV中的数据集2a和数据集1两种脑电数据集进行验证,此方法能够有效地提高模式识别精度,平均准确率达到了95%以上。

循环相关熵和一维浅卷积神经网络轴承故障诊断

针对传统二维深度卷积神经网络结构复杂、易产生过拟合和难以有效处理低信噪比信号的问题,提出了一种基于循环相关熵和一维浅卷积神经网络的故障诊断-CCe-1D SCNN方法。该方法综合利用了一维浅卷积神经网络结构简单、计算复杂度低和循环相关熵能在低信噪比环境下有效提取故障特征的优点。首先,计算轴承故障振动信号的循环相关熵函数、循环相关熵谱密度函数和广义循环平稳度;其次,将一维归一化的广义循环平稳度作为一维浅卷积神经网络的输入层,通过一维浅卷积神经网络自动实现故障特征提取和模式分类;最后,将CCe-1D SCNN方法应用于电机轴承故障特征提取和分类,实验结果表明:CCe-1D SCNN方法在低噪声比情况下仍能保持很高的模式识别正确率,为一种自动故障特征提取和模式识别的有效方法。

多维注意力机制神经网络在电力工程数据中的应用研究

针对当前电力工程数据分析处理过程中过于依赖人工且数字化程度较低的问题,文中基于改进的神经网络结构,提出了一种电力工程数据分析算法。该算法对基础卷积神经网络进行了改进,并利用多尺度卷积核增强了神经网络的感知野。而对于多尺度神经网络收敛速度慢的问题,在粗细尺度网络之间加入了残差网络,同时通过加入多维时空卷积注意力机制增强了数据的编码能力,进一步提高了模型的收敛速度。仿真测试结果表明,由迭代实验确定出最佳迭代次数后,所提算法的平均预测准确率和运行时间分别为97.5%及38.2 s,在对比方法中均为最优,综合性能较为理想,可以实现对电力工程数据的合理分析与准确预测。