基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

鲸鱼优化算法-双向长短期记忆神经网络用于断路器机械剩余寿命的预测研究

低压断路器的安全可靠是电力系统能否稳定运行的关键一环,因此对断路器进行退化趋势预测和剩余寿命评估具有重要意义。基于鲸鱼优化算法(whale optimization algorithm,WOA)和双向长短期记忆神经网络(bidirectional long short-term memory,BiLSTM)提出了一种断路器操动机构剩余寿命的预测方法,首先采用Pearson相关系数法对获得的原始监测数据进行筛选,选择与断路器开断次数相关度较高的数据作为关键退化特征量,基于主成分分析法进行数据融合获得能够综合表征断路器运行状态的健康指数;随后使用滑动时间窗的方法对健康指数时间序列进行重构,再通过WOA-Bi LSTM寻优获得的最佳模型对健康指数进行时间序列预测,从而获得断路器未来多步的退化趋势;最后再根据设定的失效阈值,确定断路器操动机构的剩余寿命。实例验证表明,该文提出的混合预测模型预测精度最高可达96.43%,相比于其他传统预测模型显著提高,对于断路器的实际运维工作具有一定的指导意义。

基于双向长短期记忆网络含间接健康指标的锂电池SOH估计

快速准确地对锂离子电池进行全寿命周期的健康状态(SOH)估计有助于提高储能设备的安全可靠性。提出一种基于间接健康指标(IHI)和鲸鱼优化算法(WOA)优化的双向长短期记忆(BiLSTM)网络相结合的锂电池SOH估计模型,该模型考虑了未来状态对当前SOH的影响。首先,对锂电池恒流恒压(CC-CV)充放电过程进行分析,提取出多个随充放电循环动态变化的电压、电流、温度的时间特征作为IHI,并加入放电负载电压下降时间这一指标;然后,通过相关性分析,从各IHI中筛选出和容量关联度高的IHI作为输入特征;最后,建立基于WOA优化的BiLSTM网络的电池SOH估计模型,并利用美国国家航天航空局锂电池数据集对2个不同工况下的电池SOH进行估计。结果表明,所提方法可有效提高SOH的估计精度。

基于贝叶斯优化-卷积神经网络-双向长短期记忆神经网络的锂电池健康状态评估

准确估计电池健康状态是设备稳定运行的关键。针对当前健康状态研究中容量难以直接测量、估计模型调参费时等问题,提出基于多健康特征的贝叶斯优化(BO)算法优化卷积神经网络(CNN)与双向长短期记忆(BiLSTM)神经网络预测模型。基于NASA公开锂电池数据,提取3种健康特征。将CNN与BiLSTM结合,提高时间序列数据处理能力,加入BO算法自动搜寻最优参数集,避免组合网络模型陷入局部最优,从而减少评估时间。对比分析相关神经网络模型,结果表明所提方法预测准确度最高,可有效估计锂电池的健康状态,平均绝对误差和方均根误差均在1%以内。

基于残差双向长短期记忆效应网络模型的电力企业碳排放预测

针对电力企业碳排放核算时间长、连续排放监测系统误差大及传统模型拟合困难等问题,结合电力企业燃料燃烧的特性及现有污染物在线监测结果,成功构建了电力行业碳排放的残差双向长短期记忆效应网络(ResNet-BiLSTM)模型,并以浙江省113家电力企业的数据为样本进行验证。结果表明:与目前主流数据预测算法逻辑回归(Regression)、循环神经网络(RNN)、反向传播神经网络(BPNN)模型相比,ResNet-BiLSTM模型的平均绝对百分比误差分别低5.7、4.1、2.8百分点,对碳排放量的预测更贴近电力企业核算碳排放波动情况,且预测准确率(96%)最高。ResNet-BiLSTM模型的成功应用不仅为电力企业提供了新的碳排放预测途径,同时为提高相关管理部门的碳排放数据监管效率提供了支持。

基于图卷积和双向长短期记忆网络的受端电力系统暂态电压稳定评估

为快速、准确评估受端电力系统故障后暂态电压稳定状态并定位电压失稳节点/区域,提出一种基于图卷积网络(graph convolutional network,GCN)和双向长短期记忆网络(bidirectional long/short-term memory network,Bi LSTM)的受端电力系统暂态电压稳定评估方法。首先,基于暂态电压时序响应特性及空间分布规律,以及电力系统拓扑连接关系和各节点电气量测数据,构建表征电力系统运行状态的输入特征矩阵,以有效计及暂态电压的时空演变规律;然后,搭建由GCN和BiLSTM相结合的深度神经网络,提取具有最大相关性的暂态电压时空特征信息,进而建立时空特征与暂态电压稳定状态间的映射关系,实现暂态电压失稳节点/区域的精确定位;最后,通过修改后的IEEE-39节点测试系统和某实际电网系统算例对所提方法进行分析、验证,结果验证了所提暂态电压稳定评估方法的准确性和有效性。

基于分组双阶段双向卷积长短期方法的高光谱图像超分辨率网络

文章提出基于分组的双阶段Bi-ConvLSTM网络(GDBN),可以充分利用图像的空间和光谱信息,通过使用以波段为单位的分组策略,有效缓解了计算负担,并对光谱信息进行保护。在编码器的不同阶段,对浅层信息提取模块和深度特征提取模块进行不同层次信息的提取,浅层信息提取模块能够对不同尺度的浅层特征信息进行充分捕捉,深度特征提取模块能够捕捉图像的高频特征信息。文章还引入通道注意力机制,增强网络对特征的组织能力,并在自然数据集cave上进行大量实验,效果普遍优于目前主流的深度学习方法。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于双向长短期记忆网络的区域电网新能源消纳预测算法

目前,区域电网新能源消纳问题日益严重,采用优化算法进行区域电网新能源消纳评估的技术难度大、求解效率低、消耗时间长。为此,本文提出基于双向长短期记忆网络(BiLSTM)的区域电网新能源消纳预测算法。首先分析影响区域电网新能源消纳的因素,并进行新能源消纳预测数据准备;然后提出基于BiLSTM的区域电网新能源消纳预测算法,利用电网历史运行数据训练模型,实现区域电网新能源消纳的快速准确在线预测;最后利用实际电网数据验证了所提算法的有效性,为电网运行人员提供参考。

基于时空注意力机制的双向长短期记忆神经网络的股指预测研究

股票市场是一个高噪音的混沌系统,其外部属性之间的相关性问题以及在长期预测时外部影响对股价波动的加剧,导致对股票市场进行准确预测是一项富有挑战性的工作。为解决上述问题,本文利用基于注意力机制的双向长短期记忆神经网络(BiLSTM)对香港地区恒生指数收盘价进行有效性的实证检验。其中,空间注意力机制用于捕捉输入指标之间的相关性并为其赋予区别权重,时间注意力机制用于描述数据的时间相关性以解决长期预测中的时间依赖问题并为时间步赋予区别权重,BiLSTM神经网络用于拟合数据并构建预测模型。本文还比较了四种基于注意力机制的神经网络方法和六种基线方法,实验结果表明,与当下流行的股票指数预测方法相比,基于双维度注意力机制的BiLSTM可以在短、中、长期预测中均实现更准确的股票指数收盘价预测。

一种基于双向长短期记忆神经网络的Web攻击检测

当前,网络空间安全形势日益严重,这是因为网络攻击手段层出不穷。其中,跨站脚本(cross-site scripting,XSS)攻击和结构化查询语言(structured query language,SQL)注入攻击是2种较为常见的网络攻击方式。由于它们的有效载荷样式多样,导致传统的基于规则的检测以及基于特征的机器学习难以对其进行检测。为了提高对Web攻击的检测效果,降低人工提取特征的繁杂度,提出了一种基于双向长短期记忆神经网络的Web攻击检测方法:使用字符向量化提取Web攻击有效特征的序列,并映射到特征向量,嵌入向量到神经网络中,然后使用双向长短期记忆递归神经网络训练和测试模型。结果表明,该检测方法在真实数据集中的检测准确率达到99.35%,召回率达到99.49%,可以同时检测XSS攻击和SQL注入攻击。证明了这种基于深度学习的检测方法可以较大规模地应用于Web攻击感知平台中。

基于双向长短期记忆循环神经网络和条件随机场的钻井工况识别方法

传统钻井作业中,钻井工况主要通过基于机理模型与人工判断的方法进行识别,无法保证钻井工况识别的实时性与精准度。为此,采用近年来热门的人工智能算法,将井深与钻头位置的差、钻头位置、井深、大钩高度、大钩载荷、转速、钻压、扭矩、排量共9项钻井参数作为输入特征项,训练调优并建立了基于双向长短期记忆循环神经网络和条件随机场的钻井工况智能识别模型,对复合钻进、滑动钻进、上提开泵划眼、下放开泵划眼、静止、坐卡、原地循环等共计20种钻机动态进行实时智能识别,训练集、测试集的正确率分别为96.49%、97.23%。该模型的成功建立,验证了人工智能算法的优越性,为人工智能算法在钻井工程领域的后续应用提供了丰富经验。

基于浣熊算法优化双向长短期记忆网络的碳价预测

针对碳排放价格预测精度欠佳的问题,提出一种基于完全集成经验模态分解(Complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)和浣熊算法(Coati optimization algorithm,COA)优化的双向长短期记忆网络(Bidirectional long short term memory network,BiLSTM)碳价预测模型。首先,采用CEEMDAN将原始碳价数据分解为若干内涵模态分量(Intrinsic mode functions,IMF);然后,运用COA对BiLSTM的参数进行优化;最后,使用COA-BiLSTM模型对IMF进行预测,将IMF预测值重构得到碳价预测值。实证结果表明,采用CEEMDAN对原始数据进行分解,使用BiLSTM模型进行预测,运用COA对预测模型参数进行优化均能有效提高碳价预测精度。

数字经济背景下中国区域创新能力预测——基于双向长短期记忆网络模型

数字经济的蓬勃兴起为提升区域创新能力带来新的机遇。然而基于历史数据的实证研究虽已定量验证数字经济对区域创新能力的赋能作用,但鲜有研究实现中国区域创新能力预测。在此背景下,本文基于2004-2020年9个国家中心城市的样本数据,运用双向长短期记忆网络模型,实现了对中国区域创新能力的预测。研究表明:东部地区创新能力增速高于中西部地区,区域创新能力将进一步扩大;金融支持、人才聚集、基础设施分别是限制东部、中部、西部地区的首要因素。

基于双向长短期记忆网络的流体高精度识别新方法

碳酸盐岩储层的储集空间类型多样、储层性质复杂,导致流体的测井响应受到强非均质性的影响,给流体识别工作带来极大困难。针对该问题,提出基于测井序列信息的双向长短期记忆网络(Bi-LSTM)流体识别模型,从测井响应特征差异性分析及相似性分析两方面出发,确定敏感曲线,结合Bi-LSTM网络的输入要求,建立流体识别样本库,并获得基于Bi-LSTM的流体识别模型。应用该方法对鄂尔多斯盆地马家沟组进行流体识别,与单向LSTM模型及其他3类机器学习算法预测结果进行对比。结果表明基于Bi-LSTM的流体识别模型流体识别的符合率从82.7%提高到91.5%,取得较好的应用效果;该模型既能充分利用井下对应深度测井曲线的响应值,又能兼顾测井曲线随深度的变化趋势和前后关联,最大程度避免储层纵向非均质性带来的影响,提高流体识别能力。

基于观测数据潜在特征与双向长短期记忆网络的车辆轨迹预测

针对传统算法无法满足复杂交通场景下无人驾驶车辆对周围运动车辆轨迹预测需求的问题,提出一种基于观测数据潜在特征与双向长短期记忆(BiLSTM)网络的车辆轨迹预测方法。首先利用一维卷积神经网络(1DCNN)提取由传感器所获取的车辆运行状态观测数据的潜在特征,然后将以序列方式构造的具有时空关系的特征向量作为BiLSTM网络的输入数据,最后利用车辆运行数据对所构建的1DCNN-BiLSTM模型进行训练,形成期望的输入输出映射关系,从而预测车辆的行驶轨迹。试验结果表明,1DCNN-BiLSTM相比传统方法能更加准确有效地处理序列数据,对车辆运行轨迹预测的效果也具有较高的鲁棒性。

基于双向长短期记忆模型的网民负面情感分类研究

网民负面情感在网络舆情情感分析中具有重要意义,但已有研究缺乏自动化识别海量短文本中网民负面情感的多分类方法。本文利用词嵌入技术学习词语的特征表示,通过增加文本的情感特征生成具有情感意义的词向量,并训练双向长短期记忆模型得到网民负面情感识别模型,在判断网民情感极性的基础上,识别网民的愤怒、悲伤和恐惧三种负面情感,并结合案例数据与SVM、LSTM和CNN等模型进行对比分析。实验表明,具有情感语义的词向量比词向量更适合情感分析任务;利用双向长短期记忆模型可以得到较好的情感识别效果;判断网民情感极性基础上识别网民负面情感的分类方式优于直接判断网民的负面情感的方式。

一种在线医疗社区问答文本实体识别方法——基于卷积神经网络和双向长短期记忆神经网络

针对在线医疗社区问答文本复杂程度高、结构化程度低的特点,结合卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)两种深度学习模型以及条件随机场(CRF)模型,提出一套适用于在线医疗问答文本的实体识别方法并进行验证。将问答文本进行清洗和BIO标注后,分别用CNN和BiLSTM进行字级别的特征抽取,将通过两种模型抽取到的特征进行融合后放入CRF中训练出实体预测模型,再将问答文本放入训练好的模型中,得到最终的实体识别结果。以关于乳腺癌疾病问答文本为例,研究结果表明,运用该方法得到的识别结果优于其他模型,且识别准确率达到92.3%、召回率达到89.3%、F值达到90.8%。

基于注意力机制和双向长短期记忆网络的电能质量扰动识别

提出一种基于深度学习的电能质量扰动信号分类新方法.该方法应用注意力机制和双向长短期记忆网络构建分类模型,并利用Matlab仿真产生训练数据集与验证数据集.考虑了7种常见的复合扰动信号,并将其作为序列数据直接输入到网络中进行训练和验证.实验结果表明,本方法能准确地识别不同的扰动信号,在验证集上模型的识别准确率可以达到99.7%.通过对比实验发现,应用注意力机制和双向长短期记忆网络的模型的识别能力要优于支持向量机和多层感知机等传统机器学习算法.

基于双向长短期记忆网络的共享单车流量预测

近年来,共享单车逐渐成为流行于城市的交通出行手段,过量投放是其目前面临的最大问题,准确预测共享单车流量能有效调节共享单车投放,且能维护城市的交通秩序和形象.考虑到共享单车流量是一种时间序列,当前流量与过去和将来的流量具有密切的联系,本文提出一种基于双向长短期记忆的深度网络模型以预测未来的共享单车流量.该模型的时间步长设置为12,即以过去12个小时的数据作为输入,预测未来一个小时的共享单车流量数据,以此类推,每次向后推移一个小时,从而预测下一个数据.为了验证模型的性能,本文选取人工神经网络,循环神经网络以及长短期记忆网络作为对比模型.实验结果显示,所提出的模型在预测未来的共享单车流量的性能最佳.