基于改进灰狼算法优化双向长短时记忆神经网络的水冷壁壁温预测

提出一种基于改进灰狼(MGWO)算法优化双向长短时记忆(BiLSTM)神经网络的水冷壁壁温预测模型,灰狼算法采用非线性因子调整策略、自适应位置更新策略和动态权重修改策略进行改进以提升算法的全局寻优能力,利用改进灰狼算法优化BiLSTM模型的隐藏层数量、学习率和正则化参数以提高模型的预测精度,采用新疆某电厂的数据进行预测仿真,结果表明:改进后的算法预测精度更高,在机组升、降负荷时,均可以预测到壁温的变化趋势,模型的平均均方根误差相比于长短时记忆(LSTM)神经网络、BiLSTM模型分别降低了9.86%和3.69%,且可以提前预测到水冷壁壁温的超温情况,对于预防水冷壁超温有重要意义。

双向长短时记忆神经网络在滩坝砂储层岩性识别中的应用

研究区致密滩坝砂储层油气储量丰富,勘探开发潜力较高,但存在埋藏深、单层厚度薄、渗透率超低、孔隙结构复杂以及单井自然产能极低的特征,储层划分与岩性识别困难。针对测井数据具有纵向时序连续的特点,构建一个双向长短时记忆神经网络(BiLSTM)岩性识别模型,采用随机森林方法对常规测井数据等参数进行特征选择,将选择的参数作为输入变量训练BiLSTM模型。应用该模型对测试集的井资料进行验证,结果表明模型的岩性识别准确率为0.86,取得了良好的应用效果,证明了BiLSTM模型适用于滩坝砂储层岩性识别。

基于双向长短期记忆循环神经网络和条件随机场的钻井工况识别方法

传统钻井作业中,钻井工况主要通过基于机理模型与人工判断的方法进行识别,无法保证钻井工况识别的实时性与精准度。为此,采用近年来热门的人工智能算法,将井深与钻头位置的差、钻头位置、井深、大钩高度、大钩载荷、转速、钻压、扭矩、排量共9项钻井参数作为输入特征项,训练调优并建立了基于双向长短期记忆循环神经网络和条件随机场的钻井工况智能识别模型,对复合钻进、滑动钻进、上提开泵划眼、下放开泵划眼、静止、坐卡、原地循环等共计20种钻机动态进行实时智能识别,训练集、测试集的正确率分别为96.49%、97.23%。该模型的成功建立,验证了人工智能算法的优越性,为人工智能算法在钻井工程领域的后续应用提供了丰富经验。

一种采用记忆神经网络和曲线形状修正的负荷预测方法

针对分布式电源和新型负荷容量累积造成负荷影响因素多元化和不确定性特性增强的问题,文中提出一种采用记忆神经网络和曲线形状修正的负荷预测方法。在负荷峰值预测中,采用最大信息系数计算负荷峰值与影响因素的非线性相关性,实现对输入特征的筛选;综合考虑负荷峰值序列的长短期自相关性和输入特征与负荷峰值的不同程度相关性,结合Attention机制和双向长短时记忆(bidirectional long short-term memory,BiLSTM)神经网络建立负荷峰值预测模型。在负荷标幺曲线预测中,通过误差倒数法组合相似日和相邻日,建立负荷标幺曲线预测模型;针对预测偏差的非平稳特征,利用自适应噪声的完全集成经验模态分解和BiLSTM网络建立误差预测模型,对曲线形状进行修正。应用中国北方某城市的区域电网负荷数据为算例,验证了所提模型的有效性。

基于生成对抗网络和混合时空神经网络的入侵检测

针对网络入侵检测领域存在检测准确率低的问题,研究异常流量样本少和分类器性能不佳时的入侵检测模型,提出一种基于改进生成对抗网络和混合时空神经网络的入侵检测模型。改进生成对抗网络通过学习异常流量样本的分布特性,生成具有特定标签的人工异常流量样本;融合卷积神经网络和双向长短时记忆神经网络提取攻击流量的时空融合特征,利用注意力机制对时空融合特征进行加权,构建混合时空神经网络对网络流量进行分类预测。在UNSW-NB15数据集上对所提模型进行仿真实验,准确率和F1分数分别为92.93%和94.81%,表明所提模型能够有效改善原始数据集中的类别不平衡性问题,提高对异常流量样本的检测能力和网络入侵的检测准确率。

基于变分模态分解和双向长短时记忆神经网络模型的滑坡位移预测

滑坡变形的定量预测是滑坡预警系统中的重要组成部分,滑坡变形受其自身地质条件和众多环境因素共同影响,具有动态、复杂和非线性等特点。针对目前滑坡累积位移—时间序列分析研究中随机性位移无法分解与预测、传统预测模型难以模拟滑坡动态演化特性等问题,本文建立了一种基于组合变分模态分解(Variational Mode Decomposition,VMD)和双向长短时记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)神经网络的复合性滑坡位移动态预测模型。该模型首先利用时间序列分析和VMD将滑坡累积位移分解为趋势项、周期项和随机项位移分量,通过分析滑坡的演化特征和诱发滑坡的关键因素,为各位移分量选择合适的影响因素;然后采用多项式拟合预测趋势项位移、Bi-LSTM神经网络对周期项位移和随机项位移进行多数据驱动的动态预测;最后将各位移分量叠加得到累积位移预测值。以新滩滑坡和八字门滑坡为样本,利用实地观测数据,对本模型的预测精度与工程实用性进行对比评估。实验结果表明,本文提出的模型能较好地表征位移“阶跃式”的变形特征。在预测周期项位移时,Bi-LSTM网络相较于长短时记忆神经网络(Long Short-Term Memory,LSTM)和支持向量机(Support Vector Machine,SVM)具有更高的预测精度,平均相对误差(Mean Relative Error,MRE)分别降低了1.339%和7.817%,均方根误差(Root Mean Square Error,RMSE)分别降低了6.761 mm和27.163 mm。说明该模型不仅预测精度高,且更稳定,可以为滑坡防灾减灾工程的实际应用提供新的思路。

基于双向长短时记忆神经网络的步态时空参数脑肌电解码方法

针对脑电(EEG)信号对连续步态轨迹解码结果与实际轨迹相关性低的问题,提出一种基于双向长短时记忆(BiLSTM)神经网络的步态参数解码方法。首先,构建基于双向长短时记忆神经网络的步态时空参数解码模型,根据脑肌电信号特性设计解码模型的超参数;其次,同步采集脑电、下肢运动相关肌肉的表面肌电信号(sEMG)和下肢关节运动信号,并对脑电和表面肌电信号的步态相关特征进行分析;然后,以多通道脑电和下肢运动相关表面肌电信号作为解码模型的输入,自动提取脑肌电融合信号中步态相关特征并构建膝踝关节运动轨迹与特征之间的非线性回归模型;最后,以多通道脑电作为解码模型的输入,构建步态相关脑电信号和表面肌电信号之间的非线性回归模型。实验结果表明:所提方法与传统支持向量机方法相比,对踝关节解码轨迹与实测轨迹形状相似性Pearson相关系数提高了0.12;与单独采用脑电、表面肌电信号和脑肌电信号平均绝对值特征融合信号进行解码方法相比,对踝关节解码轨迹与实测轨迹形状相似性Pearson相关系数分别提高了0.81、0.19和0.63。该方法可实现从脑电信号中对部分表面肌电信号波形的解码,解码波形和实测波形的平均Pearson相关系数值接近0.5,证明从脑电信号中可解码出肌肉通道的表面肌电信号波形,为下肢外骨骼主动连续控制的应用提供了新思路。

基于双向长短时记忆网络和卷积神经网络的电力系统暂态稳定评估

基于机器学习方法的暂态稳定评估已成为电力系统分析与控制领域的热点,由于实际系统中存在不能实现相量测量单位(PMU)的全面覆盖以及数据采集存在噪声的问题,使得传统机器学习方法的评估性能受到较大限制。针对此,构建了一种在PMU最优布点上的时间序列特征,提出了一种将改进卷积神经网络(improved convolutional neural network,ICNN)与双向长短时记忆网络(bidirectional long short term memory network,BiLSTM)进行融合的评估方法。该方法首先利用BiLSTM提取电压、相角以及有功功率三种基本电气量的时间序列特征,随后通过卷积和池化操作对数据进行进一步的数据挖掘,最后利用轻量梯度提升机完成对数据的分类。为了避免出现过拟合现象,该方法还通过正则化、Dropout等方式提升模型的泛化性能。在新英格兰10机39节点上的算例表明,该方法能利用基本电气量数据进行暂态稳定评估,且在复杂条件下仍能保持较好的评估性能。

模型误差影响下基于CNN+BiLSTM神经网络的非圆信号目标直接跟踪算法

针对运动观测阵列状态误差与接收频率抖动同时影响下的非圆信号无源跟踪问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)+双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiL⁃STM)的直接跟踪算法.该算法首先利用多运动观测阵列信号各频带间的相关性与辐射源信号的非圆特性,建立模型误差影响下的扩展多站观测矢量;接着利用多个观测时隙内扩展多站观测矢量的信号子空间构造空时特征输入序列;然后设计基于CNN与BiLSTM混合神经网络的直接跟踪模型,通过训练实现对非圆目标的轨迹矢量直接估计.本文算法是从原始数据信号子空间中估计轨迹矢量的直接跟踪模式,相比传统“观测参数估计+滤波轨迹跟踪”的两步估计模式,具有更高的估计精度.由于本文算法在神经网络训练过程中学习到模型误差的信息,因此能够实现对多种误差的校正.仿真结果表明,本文算法较传统两步跟踪算法与现有直接跟踪算法均具有更高的轨迹估计精度,能够明显提升模型误差影响下多站协同跟踪的鲁棒性.

一种在线医疗社区问答文本实体识别方法——基于卷积神经网络和双向长短期记忆神经网络

针对在线医疗社区问答文本复杂程度高、结构化程度低的特点,结合卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)两种深度学习模型以及条件随机场(CRF)模型,提出一套适用于在线医疗问答文本的实体识别方法并进行验证。将问答文本进行清洗和BIO标注后,分别用CNN和BiLSTM进行字级别的特征抽取,将通过两种模型抽取到的特征进行融合后放入CRF中训练出实体预测模型,再将问答文本放入训练好的模型中,得到最终的实体识别结果。以关于乳腺癌疾病问答文本为例,研究结果表明,运用该方法得到的识别结果优于其他模型,且识别准确率达到92.3%、召回率达到89.3%、F值达到90.8%。

基于串级双向长短时记忆神经网络的测井数据重构

测井数据是油气田开发和评价的基础,对于确定地下油气层位置、计算及评价油气储量等具有重要意义。然而,实际开采过程中井壁垮塌、仪器故障等因素往往导致部分深度的多条测井数据失真或缺失,而重新测井的成本高昂,施工难度大。为此,提出一种基于串级双向长短时记忆神经网络(CBi-LSTM)的测井数据重构方法,在不增加额外测量成本的情况下,充分考虑缺失数据点的前趋与后继之间的双向关联性及测井曲线之间的相关性,利用串级系统将所获估计值与已知测井曲线合并为新的输入,采用迭代更新策略完成对缺失数据块的重构。对苏里格气田4口井的测井数据进行补全重构实验,所得结果表明:文中测井数据重构方法具有较高精度,同时所用模型具有更强的鲁棒性和泛化能力。

含时滞的双向联想记忆神经网络的全局吸引性和全局指数稳定性

本文研究了具有时滞的双向联想记忆神经网络模型,在非线性神经元激励函数是Lipschitz连续的条件下,通过构造适当的泛函,得到了该系统的平衡点是全局吸引和全局指数稳定.

基于CNN-BiLSTM混合神经网络的雷达信号调制方式识别

针对具有时频特性的雷达信号,传统的雷达信号识别方法已经无法满足对信号类型精准识别的需求,因此需要通过采集并分析雷达信号脉内的时频特征实现对目标雷达的具体信息进行有效评估。设计了一种卷积-双向长短时记忆(Convolution-Bidirectional Long Short-Term Memory,CNN-BiLSTM)混合神经网络模型,主要通过BiLSTM的时序记忆特性深度挖掘雷达信号的时域特征,结合权值共享特性和CNN层捕获雷达信号的时频特征,再利用二者信号特征联合完成对雷达信号调制方式的识别。通过对比实验验证,所提方法对若干种雷达信号的识别具有较高的准确度,平均值达到95.349%;优于只使用单一特征的网络和传统算法,具有良好的抗噪声能力。

结合密集神经网络与长短时记忆模型的中文识别

文本图像识别是计算机视觉领域一项重要任务,而其中的中文识别因种类繁多、结构复杂以及类间相近等特点很具挑战性.为改善这一问题,使用文本行端到端的识别模型.首次提出利用密集卷积神经网络(DenseNet)提取文本图像底层特征,同时避免手工设计、统计图像特征的繁琐;将整行图像特征直接送入双向长短时记忆模型(BLSTM)进行局部相关性分析,减少字符定位分割这一步骤;最后采用时域连接模型(CTC)解码获得识别的文本信息.实验表明所提出的模型可以高效的进行图像文本行的识别,并对图像的多种形变具有较好的鲁棒性.

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行人体活动识别(human activity recognition,HAR)。首先对人体活动数据进行样本分割,然后采用卷积神经网络(convolutional neural networks,CNN)自动提取人体活动数据的特征,再通过双向长短时记忆网络(bi-directional long-short term memory,BiLSTM)学习人体活动数据特征在时间序列上前后两个方向的相关性,最后利用softmax分类器实现对人体活动分类。DaLiAc公开数据集上的仿真实验结果表明:基于CNN-BiLSTM网络的人体活动识别方法对13种人体活动的识别准确率达到了97.7%,与仅具备时间特征学习的LSTM网络和BiLSTM网络相比,具有更好的识别分类效果。

基于句子级Lattice-长短记忆神经网络的中文电子病历命名实体识别

目的提出一种基于Re-entity新分词方法的条件随机场(CRF)模型,并与双向长短记忆神经网络(BiLSTM)-CRF和Lattice-长短记忆神经网络(LSTM)进行比较。方法比较了现有实体识别方法和模型后,针对2018年全国知识图谱与语义计算大会(CCKS2018)任务一“电子病历命名实体识别”,提出基于Re-entity的CRF、BiLSTM-CRF、Lattice-LSTM方法,并在不同语料库训练不同参数级别的字符向量集。分别将各方法引入神经网络模型中进行模型性能对比实验,最后分别基于句子级和篇级输入句长进行对比研究。结果CRF模型在最优特征工程的结果下引入Re-entity方法后性能得到提高,句子级的Lattice-LSTM模型在该任务上取得了89.75%的严格F1-measure,优于CCKS2018任务一的最高结果(89.25%)。结论基于Re-entity新分词方法的CRF模型可利用中文临床药物知识库有效提高电子病历中药物的识别率,Re-entity方法可改善数据预处理阶段分词导致的错误累加,Lattice结构可以更好地结合字符和词序列的潜在语义信息,同时句子级输入能有效提高神经网络模型的识别准确率。

基于Bi-LSTM循环神经网络的风储系统控制策略

“双碳”背景下风电的渗透率不断提高,将对电力系统的形态和运行机制产生深刻影响。本文提出了一种基于双向长短期记忆Bi-LSTM(bidirectional long short-term memory)循环神经网络的风储系统控制策略。采用双向长短时循环神经网络提取控制结果与风电场实际出力以及储能状态间的时序信息,通过构建基于双向长短时记忆循环神经网络的控制模型,使得风电场在多种运行工况下能够快速、准确地得到储能系统调节结果。基于实际风电场数据仿真结果表明,本文所提控制策略能够保证在一定经济效益的前提下,将风储系统控制误差保持在0.50%~1.37%。

基于猎人猎物优化与双向长短时记忆组合模型的汽车出车率预测

汽车出车率预测对于交通管理者预先制定精准化管控方案、实施协调化统筹调度,以及调控汽车保有量规模具有重要意义。为此,本文提出一种基于猎人猎物优化算法与双向长短时记忆神经网络组合模型(HPO-BiLSTM)的汽车出车率预测方法。首先,分析汽车出车率的关键影响因素,提取出17个特征影响因子,结合标准化处理后的重构时间序列,基于随机森林算法进行变量的重要度评估,筛选出最优特征集合作为预测模型输入;其次,为解决神经网络算法容易陷入局部极值的难题,建立一种融合猎人猎物优化算法(HPO)与双向长短时记忆神经网络(BiLSTM)的组合预测模型,利用HPO的探索-开发机制,实现BiLSTM框架的动态化搭建与精细化调参;最后,结合北京市中心城区的汽车出车率数据集进行模型性能的测试与检验。结果表明:与自回归差分移动平均模型、灰色模型、卷积神经网络模型、长短时记忆神经网络模型以及双向长短时记忆神经网络模型等经典算法相比,HPO-BiLSTM模型在汽车出车率预测中的平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和均方根误差(RMSE)分别降低了23.85%~54.38%、20.67%~57.40%、27.48%~59.32%,平均相对误差为-1.57%。说明本文提出的混合深度学习算法具有较高的预测精度与实用性能。

基于迁移学习和Bi-LSTM神经网络的桥梁温度-应变映射建模方法

为快速构建并准确预测温度作用引起的斜拉桥主梁应变用于结构状态评估,基于某大跨度斜拉桥主梁超过1年的温度和应变监测数据,提出了一种基于迁移学习和双向长短时记忆(bi-directional long short-term memory,Bi-LSTM)神经网络的斜拉桥温度-应变映射模型建立方法。首先,利用解析模态分解(analytical mode decomposition,AMD)去噪应变数据,得到仅由温度引起的应变响应;其次,选择温度和某一测点应变数据构成数据集,采用Bi-LSTM神经网络训练该数据集,并通过网络结构和超参数优化建立温度-应变Bi-LSTM基准模型;最后,利用迁移学习方法,将已训练好的基准模型中部分参数迁移到其他温度-应变数据集,建立相应的温度-应变映射被迁移模型,并与未采用迁移学习的神经网络训练方法进行对比。研究结果表明,相比直接建立的温度-应变Bi-LSTM神经网络映射模型,采用迁移学习方法建立的被迁移模型,其拟合精度均高于所用的基准模型,且训练时间短,预测误差小。

基于BiLSTM-STW神经网络的锂电池剩余容量预测

针对锂电池剩余容量预测精度无法满足当前工程应用的问题,结合双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)与滑动时间窗口(sliding time window,STW)算法的优点,提出一种电池剩余容量预测方法。首先分析BILSTM神经网络和STW算法原理,构建了BiLSTM-STW神经网络模型,采用自适应矩优化算法(adaptive moment estimation,Adam)对模型超参数进行优化,实现模型修正;然后选取美国国家航空航天局(National Aeronautics Space and Administration,NASA)埃姆斯研究中心锂电池数据,对数据进行处理并选取容量衰减特征数据作为神经网络的预测输入量;最后利用构建的神经网络对NASA锂电池数据集进行剩余容量预测实验。实验结果表明,所构建的神经网络模型能够精确预测锂电池的剩余容量,相比LSTM神经网络模型有更好的精确度。