基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于双重自注意力机制和长短时记忆网络的剩余寿命预测

剩余使用寿命(remaining useful life,RUL)预测是产品故障预测与健康管理的重要内容。传统长短期记忆(long short-term memory,LSTM)网络无法主动选择关键特征、难以高效提取大数据所蕴含的退化信息。提出一种基于改进LSTM网络的RUL预测方法,采用随机森林(random forest,RF)算法筛选输入特征,以主动选取关键特征;采用双重自注意力机制分别从特征维度和时间维度完成权重自适应分配,使模型在学习过程中关注主要特征和历史时间点;通过融合统计特征,以提高RUL预测精度。以航空发动机数据集为例完成案例分析,验证方法有效性。结果表明,所提方法能有效提高基于复杂数据集的RUL预测精度。

双向长短期记忆网络的时间序列预测方法

时间序列预测即利用历史时间序列数据,预测未来一段时间内的数据信息,以便提前制定相应策略。目前,时间序列的类别复杂繁多,而现有的时间序列预测模型面对多种类型数据时无法取得稳定预测的结果,进而难以同时满足对现实中多种复杂的时序数据预测的应用需求。针对上述问题,提出了一种基于时间注意力机制双向长短期记忆网络的时间序列预测方法。笔者提出的网络模型采用改进的正向和反向传播机制提取时序信息并通过自适应权重分配策略推理未来的时序信息。具体来说,设计了一个改进的双向长短期记忆网络,通过结合双向长短期记忆和长短期记忆网络提取深度时间序列特征,挖掘上下文的时序依赖关系。在此基础上,融合所提出的时间注意力机制,实现对深度时间序列特征进行自适应加权,提升深度时序特征的显著性表达能力。通过与同类代表性方法在多个不同类别数据集上的客观定量对比,实验结果表明,该方法能够在多种类别的复杂时间序列数据上更优的预测性能。

基于双重分解和双向长短时记忆网络的中长期负荷预测模型

针对中长期电力负荷序列噪声含量高、难以直接提取序列周期规律从而影响预测精度的问题,提出了一种基于完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和奇异谱分析(singular spectrum analysis,SSA)双重分解的双向长短时记忆网络(bidirectional long and short time memory,BiLSTM)预测模型。首先,采用CEEMDAN对历史负荷进行分解,以得到若干个周期规律更为清晰的子序列;再利用多尺度熵(multiscale entropy,MSE)计算所有子序列的复杂程度,根据不同时间尺度上的样本熵值将相似的子序列重构聚合;然后,利用SSA去噪的功能,对高度复杂的新序列进行二次分解,去除序列中的噪声并提取更为主要的规律,从而进一步提高中长序列预测精度;再将得到的最终一组子序列输入BiLSTM进行预测;最后,考虑到天气、节假日等外部因素对电力负荷的影响,提出了一种误差修正技术。选取了巴拿马某地区的用电负荷进行实验,实验结果表明,经过双重分解可以将均方根误差降低87.4%;预测未来一年的负荷序列时,采用的BiLSTM模型将拟合系数最高提高2.5%;所提出的误差修正技术可将均方根误差降低9.7%。

基于双向长短时记忆网络和注意力机制的RNA m5C甲基化位点预测

RNA 5-甲基胞嘧啶(m5C)修饰在许多生物过程中发挥重要的作用,对m5C位点的准确识别有助于更好地理解其生物学功能,所以识别m5C甲基化位点十分必要。尽管已发展了多种识别m5C甲基化位点的机器学习方法,但预测能力仍有待提高。本文基于双向长短时记忆网络和注意力机制,提出了一种预测RNA m5C甲基化位点的深度学习算法。用该方法在人、小鼠、酿酒酵母和拟南芥共4种生物的RNA m5C数据集上进行实验,m5C位点预测AUC值分别达到92.5%、99.7%、93.6%和86.5%。与现有预测方法相比,该方法具有较好的预测性能,并且具有更优的泛化能力,为RNA m5C甲基化位点预测提供了一种新方法。

基于改进灰狼算法优化双向长短时记忆神经网络的水冷壁壁温预测

提出一种基于改进灰狼(MGWO)算法优化双向长短时记忆(BiLSTM)神经网络的水冷壁壁温预测模型,灰狼算法采用非线性因子调整策略、自适应位置更新策略和动态权重修改策略进行改进以提升算法的全局寻优能力,利用改进灰狼算法优化BiLSTM模型的隐藏层数量、学习率和正则化参数以提高模型的预测精度,采用新疆某电厂的数据进行预测仿真,结果表明:改进后的算法预测精度更高,在机组升、降负荷时,均可以预测到壁温的变化趋势,模型的平均均方根误差相比于长短时记忆(LSTM)神经网络、BiLSTM模型分别降低了9.86%和3.69%,且可以提前预测到水冷壁壁温的超温情况,对于预防水冷壁超温有重要意义。

基于注意力机制和双向长短时记忆网络的横波速度预测方法及应用

横波速度信息对油气勘探而言至关重要,但实际测井资料中常常缺失横波速度资料。横波速度与测井参数之间存在非线性相关性,二者关系复杂难以用解析解表征。为此,提出了一种基于注意力机制和双向长短时记忆网络的横波速度预测方法(AT-BLSTM)。该方法首先利用注意力机制为测井参数分配权重,自动聚焦对横波速度预测贡献大的测井参数,然后利用双向长短时记忆网络以及横波速度曲线纵向上的时序特征,挖掘各种测井参数与横波速度之间的相关关系,获得各种测井参数与横波速度之间的学习模型,再输入优选测井参数,最终可直接获得横波速度的预测结果。将上述方法应用于挪威北海Volve油田和我国西南某工区的实际测井资料进行横波速度预测,并将预测结果与常规双向长短时记忆网络、门控循环神经网络以及基于经验公式的传统方法的预测结果进行对比。结果表明,利用基于注意力机制和双向长短时记忆网络的横波速度预测方法得到的测井参数权重分配合理,横波速度预测结果与实测横波速度误差较小、相关系数较高,有效提高了横波速度预测精度,预测结果具有良好的稳定性。

基于时空注意力机制的双向长短期记忆神经网络的股指预测研究

股票市场是一个高噪音的混沌系统,其外部属性之间的相关性问题以及在长期预测时外部影响对股价波动的加剧,导致对股票市场进行准确预测是一项富有挑战性的工作。为解决上述问题,本文利用基于注意力机制的双向长短期记忆神经网络(BiLSTM)对香港地区恒生指数收盘价进行有效性的实证检验。其中,空间注意力机制用于捕捉输入指标之间的相关性并为其赋予区别权重,时间注意力机制用于描述数据的时间相关性以解决长期预测中的时间依赖问题并为时间步赋予区别权重,BiLSTM神经网络用于拟合数据并构建预测模型。本文还比较了四种基于注意力机制的神经网络方法和六种基线方法,实验结果表明,与当下流行的股票指数预测方法相比,基于双维度注意力机制的BiLSTM可以在短、中、长期预测中均实现更准确的股票指数收盘价预测。

基于双向长短时记忆网络的并网微电网能量供需平衡优化

为保证并网微电网的稳定运行,针对微电网负荷波动较大,稳定性较差的问题,提出基于双向长短时记忆网络的并网微电网能量供需平衡优化方法。该方法通过双向长短时记忆网络划分并网微电网中的负荷类别,并引入注意力机制优化分类结果,获取并网微电网中的可控负荷结果;结合该结果和储能系统的能量损失情况、风光综合功率波动水平,构建目标函数并确定约束条件,采用改进帝国竞争算法求解目标函数,获取保证获取全局负荷调度最佳结果,实现并网微电网能量供需平衡优化。测试结果显示:该方法能够有效调度并网微电网中负荷,调整并网微电网供需侧有功和无功功率的结果,使其在±0.50kvar内范围波动,优化后满足微电网中的而负荷需求;保证微电网的稳定运行。

基于深度双向长短时记忆网络的集装箱港口卡车轨迹预测

车辆轨迹预测是交通工程和人工智能领域中的一个关键研究议题,具有广泛的应用前景,包括自动驾驶、交通管理和智能交通系统等。在本研究中,着重解决港口区域内用于搬运集装箱的卡车在遭受遮挡时出现的瞬时定位误差。为此,本文设计了一种数据驱动的车辆轨迹预测框i架。该框架通过先行处理大规模GPS数据集,并采用深度双向长短时记忆网络i(DeepBLSTM)进行模型训练。针对从实际港口内收集而来的轨迹数据,使用DeepBLSTM网络与传统算法(如i卡尔曼滤波器)、机器学习技术(如支持向量回归)进行了对比。实验结果显示,DeepBLSTM在均方根误差(RMSE)、平均绝对误差(MAE)、F1分数以及轨迹重构误差(TRE)等多个评价指标上均表现出色,相对于传统方法,性能提升约为70%。因此,本文所提出的这一基于数据驱动的目标轨迹预测方法在准确度和实用性方面均具有明显优势,为港口内集装箱卡车的精准定位提供了有效的解决方案。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于长短时记忆网络的恒温水浴锅温度模型预测

【目的】由于恒温水浴锅温度系统存在强非线性及大滞后性,本研究提出一种基于长短时记忆网络的恒温水浴锅温度模型预测方法。【方法】首先,对采集到的数据进行标准化处理,寻找长短时记忆网络的最优结构及超参数,用来拟合出最佳的数据映射特征,并构建恒温水浴锅温度的动态数学模型。其次,通过模型对未来一段时间内的温度趋势进行预测。最后,使用本研究提出的方法与最小二乘法所预测的结果进行对比分析。【结果】本研究所提方法构建的模型的拟合度达到了98.2%,预测结果的MSE及MAE比最小二乘法模型分别降低了4.616、0.823。【结论】本研究所提方法具有更高的预测精度,对提高恒温水浴锅的生产效率及控制精度具有重要意义。

基于卷积长短时记忆网络的短时公交客流量预测

针对传统的短时客流预测方法没有考虑到时序特征中跨时段客流之间的相似性问题,提出一种改进k-means聚类算法与卷积神经网络和长短时记忆网络相结合的短时客流量预测模型k-CNN-LSTM。通过k-means算法对跨时段时序数据进行聚类,使用间隔统计确定k值,构建交通流矩阵模型,采用CNN-LSTM网络处理具有时空特征的短时客流。该模型能够对具有空间相关性的数据进行较为准确的预测。使用真实数据集对模型进行检验和参数调优,实验结果表明:k-CNN-LSTM模型较其他模型有相对较高的预测精度。

GPU异构计算环境中长短时记忆网络模型的应用及优化

随着深度学习的广泛应用及算力资源的异构化,在GPU异构计算环境下的深度学习加速成为又一研究热点。文章探讨了在GPU异构计算环境中如何应用长短时记忆网络模型,并通过优化策略提高其性能。首先,介绍了长短时记忆网络模型的基本结构(包括门控循环单元、丢弃法、Adam与双向长短时记忆网络等);其次,提出了在GPU上执行的一系列优化方法,如CuDNN库的应用及并行计算的设计等。最终,通过实验分析了以上优化方法在训练时间、验证集性能、测试集性能、超参数和硬件资源使用等方面的差异。

基于卷积注意力长短时记忆网络的轴承寿命预测方法

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.

基于双向长短期记忆网络含间接健康指标的锂电池SOH估计

快速准确地对锂离子电池进行全寿命周期的健康状态(SOH)估计有助于提高储能设备的安全可靠性。提出一种基于间接健康指标(IHI)和鲸鱼优化算法(WOA)优化的双向长短期记忆(BiLSTM)网络相结合的锂电池SOH估计模型,该模型考虑了未来状态对当前SOH的影响。首先,对锂电池恒流恒压(CC-CV)充放电过程进行分析,提取出多个随充放电循环动态变化的电压、电流、温度的时间特征作为IHI,并加入放电负载电压下降时间这一指标;然后,通过相关性分析,从各IHI中筛选出和容量关联度高的IHI作为输入特征;最后,建立基于WOA优化的BiLSTM网络的电池SOH估计模型,并利用美国国家航天航空局锂电池数据集对2个不同工况下的电池SOH进行估计。结果表明,所提方法可有效提高SOH的估计精度。

基于时空Inception残差注意力网络的脑电情绪识别

为了提高脑电情绪识别分类精度,最大限度利用脑电信号的空间和时间信息,提出一种Inception残差注意力卷积神经网络与双向长短期记忆(bi-directional long short-term memory, BiLSTM)网络相结合的新型架构时空Inception残差注意力网络。将脑电信号采集电极位置映射到二维矩阵中,采集信号作为通道,构成三维数据;将得到的三维数据输入到时空Inception残差注意力卷积网络之中,提取时空信息;将得到的特征输入到全连接层进行分类;将Inception结构引入脑电情绪识别领域,实现多尺度特征提取,并将电极映射到矩阵之中,保留电极位置信息,使用时空Inception残差注意力网络从时空两个维度获取脑电相关信息。实验表明,使用该模型对DEAP数据集进行情绪四分类可得到93.71%的准确度,相较于对比模型,识别精度提高了10%~20%。提出的模型在脑电信号情绪识别领域具有优良性能。

基于长短时记忆网络和生成对抗网络的VRB储能系统虚假数据注入攻击检测

随着信息技术的不断发展,直流微电网储能系统已成为深度融合的信息物理系统,而精确的荷电状态估计对储能系统的实时监测和安全稳定运行至关重要。针对全钒液流电池(vanadium redox flow battery,VRB)储能系统荷电状态估计中,由虚假数据注入攻击导致的异常数据检测问题,提出一种基于长短时记忆网络和生成对抗网络的检测方法。首先,建立了VRB等效电路模型和虚假数据注入攻击模型;然后,通过训练长短时记忆网络和生成对抗网络组成的循环网络,将长短时记忆神经网络嵌入生成对抗网络框架作为生成器和鉴别器来分析电池时序数据,通过判别网络中的判别损失误差和生成网络中的重构残差得到异常损失进行综合判断;最后,以CEC-VRB-5kW型号电池为对象,并构造不同强度的虚假数据攻击进行实验,验证检测方法的准确性与可行性。结果表明,与经典循环神经网络、随机森林、自编码器、长短时记忆网络检测方法进行对比,所提方法具有较高的检测精度,在VRB储能系统荷电状态估计中能够有效辨识虚假数据攻击。

基于长短时记忆神经网络的励磁涌流与故障电流识别方法

变压器空载合闸时产生励磁涌流导致差动保护误动作的问题至今仍未能被完全解决.针对该问题,提出一种利用长短时记忆(LSTM)神经网络识别励磁涌流与故障电流的方法.首先,在PSCAD软件平台上搭建变压器空载合闸及内部故障仿真模型,通过仿真产生大量三相电流瞬时采样数据作为训练神经网络的样本集;然后,利用Keras平台搭建LSTM神经网络模型并完成训练;最后,利用新的仿真数据和现场故障录波数据对训练好的LSTM神经网络进行测试.结果表明LSTM神经网络可以快速准确地区分各种情况下的励磁涌流和故障电流,从而证实该方法的有效性.

基于时空长短时记忆神经网络的地基云图预测算法

针对传统云运动轨迹预测方法存在的预测精度差、空间结构细节信息丢失等问题,提出一种基于时空长短时记忆(ST-LSTM)神经网络的地基云图预测模型。首先使用卷积编码网络提取输入视频流的高维图像特征;然后在特征提取模型中对图像潜在信息进行多分支获取,一部分使用ST-LSTM神经网络提取不同帧之间的时空特征,另一部分将图像序列进行分解,并通过基于门控机制的记忆融合网络来获取分解后图像中的结构细节信息;最后将得到的分支特征进行组合后经过解码网络输出最终的预测视频流。在地基云图、Moving MNIST和Human 3.6M数据集上的实验结果表明,在图像预测准确率、结构细节信息保留效果以及人眼主观感受上,该预测模型均优于对比模型。与基准模型TaylorNet相比,所提模型在Moving MNIST数据集上均方误差指标和平均绝对误差指标分别降低15.7%和11.8%,在地基云图数据集上,其结构相似性指标与峰值信噪比指标分别提升1%和3.2%,且生成的视频流数据更为清晰,能够更准确地描述云层未来的运动状况,从而更可靠地预测光伏电站未来的输出功率。