基于多目标浣熊优化算法的双向长短期记忆神经网络预测

为了提高双向长短期记忆神经网络的预测性能,针对BiLSTM存在的预测精度低、预测结果不稳定的问题,提出了一种新的多目标浣熊优化算法;在浣熊优化算法的基础上,通过改进探索与开发算子,结合快速非支配排序与拥挤度距离计算方法建立精英浣熊保留策略,实现单目标到多目标的改进;基于所提算法,以预测均方误差及预测误差方差为目标函数对BiLSTM超参数进行优化,并建立MOCOA-BiLSTM预测模型,最终实现精确稳定预测;将所提MOCOA-BiLSTM预测模型在变电工程造价数据集上进行了仿真测试,并与其他3种主流算法优化后的模型进行了对比;结果表明,所提MOCOA-BiLSTM的平均百分比误差相比与MOSSA-BiLSTM、NSGAIII-BiLSTM、MOMVO-BiLSTM分别降低了69.59%、58.43%、56.67%。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于卷积神经网络和双向长短期记忆网络的气温预测模型

气温与环境要素之间存在非线性关系,针对传统的预测方法难以捕捉数据的内在特征和时间相关性问题,提出一种基于卷积神经网络与双向长短期记忆网络相结合的气温预测模型。基于宿迁四个国家气象观测站的逐小时观测数据,首先通过一维卷积神经网络提取气象要素数据的空间特征,然后将这些特征引入双向长短期记忆网络中来全面学习并掌握气象要素的上下文信息,进而对气温进行有效预测。实验结果表明,与其他的预测方法相比,所提模型在空间特征提取和时序特征学习方面表现卓越,且其在气温预测的精度上有显著的优势。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

改进双向长短期记忆神经网络的瓦斯涌出量预测

为提高瓦斯涌出量预测精度,降低煤矿回采工作面瓦斯涌出超限事故的风险,针对瓦斯涌影响因素众多、难以预测等问题,采用灰狼优化算法(Grey Wolf Optimization,GWO)双向长短期记忆神经网络(Bi-directional Long Short-Term Memory,BiLSTM)的组合模型预测瓦斯涌出量。首先,运用主成分分析法(Principal Components Analysis,PCA)处理瓦斯涌出影响因素,降低数据维度,以减少模型计算时的负担;其次,利用GWO优化BiLSTM模型的学习率(best_lr)、隐藏层层数(best_hd)以及正则化系数(best_l2),可有效避免局部最优解问题,并采用决定系数(R-Square,R^(2))、均方根误差(Root Mean Square Error,RMSE)和平均绝对误差(Mean Absolute Error,MAE)对所建模型预测的结果进行综合评价分析;最后,将该模型应用于内蒙古自治区某矿回采工作面预测瓦斯涌出量。结果显示:PCA GWO BiLSTM组合模型相比于长短期记忆神经网络(Long Short-Term Memory,LSTM)和双向长短期记忆神经网络对应的单一模型,其MAE分别降低20.81%、30.17%,RMSE分别降低0.063、0.142,R^(2)则分别提高了0.023、0.075,表明该模型在复杂因素条件下具有更高的精准度、泛化性和鲁棒性。

基于贝叶斯优化-卷积神经网络-双向长短期记忆神经网络的锂电池健康状态评估

准确估计电池健康状态是设备稳定运行的关键。针对当前健康状态研究中容量难以直接测量、估计模型调参费时等问题,提出基于多健康特征的贝叶斯优化(BO)算法优化卷积神经网络(CNN)与双向长短期记忆(BiLSTM)神经网络预测模型。基于NASA公开锂电池数据,提取3种健康特征。将CNN与BiLSTM结合,提高时间序列数据处理能力,加入BO算法自动搜寻最优参数集,避免组合网络模型陷入局部最优,从而减少评估时间。对比分析相关神经网络模型,结果表明所提方法预测准确度最高,可有效估计锂电池的健康状态,平均绝对误差和方均根误差均在1%以内。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于长短期记忆神经网络模型的空气质量预测

随着城市化和工业化的快速发展,空气污染问题日益突出,空气质量预测显得尤为重要。当前一些有代表性的研究对空气质量进行实时监测和预报,例如周广强等采用数值预报的方法对中国东部地区的空气质量进行分析,但其实验结果表明该方法难以预测非常重的污染;SANKAR等使用多元线性回归对空气质量进行预测,但其实验结果表明线性模型预测精度低、效率慢;P REZ等使用统计方法对空气质量进行预测,实验结果证明统计方法的预测精度比较低;WANG等采用改进的BP神经网络建立了空气质量指数的预测模型,其实验验证了BP神经网络收敛速度慢、容易陷入局部最优解的问题;YANG等利用相邻网格的空气质量浓度效应,建立了基于随机森林的PM 2.5浓度预测模型,通过实验过程证明网格划分程序削弱了后续空气质量分析的质量和效率。这些方法都难以从时间角度建模,其中预测精度低是比较重要的问题。因为预测精度低可能会导致空气质量预测结果出现较大的误差。针对空气质量研究中预测精度低的问题,提出了基于长短期记忆单元(long short-term memory,LSTM)的神经网络模型。该模型使用MAPE,RMSE,R,IA和MAE等指标来检测LSTM神经网络与对比模型的预测性能。由于Delhi和Houston是空气污染程度比较严重的城市,所以使用的实验数据集来自Delhi的Punjabi Bagh监测站2014—2016年的空气质量数据和Houston的Harris County监测站2010—2016年的空气质量数据。LSTM神经网络与多元线性回归和回归模型(SVR)的比较结果表明,LSTM神经网络适应多个变量或多输入的时间序列预测问题,LSTM神经网络具有预测精度高、速度快和较强的鲁棒性等优点。

一种在线医疗社区问答文本实体识别方法——基于卷积神经网络和双向长短期记忆神经网络

针对在线医疗社区问答文本复杂程度高、结构化程度低的特点,结合卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)两种深度学习模型以及条件随机场(CRF)模型,提出一套适用于在线医疗问答文本的实体识别方法并进行验证。将问答文本进行清洗和BIO标注后,分别用CNN和BiLSTM进行字级别的特征抽取,将通过两种模型抽取到的特征进行融合后放入CRF中训练出实体预测模型,再将问答文本放入训练好的模型中,得到最终的实体识别结果。以关于乳腺癌疾病问答文本为例,研究结果表明,运用该方法得到的识别结果优于其他模型,且识别准确率达到92.3%、召回率达到89.3%、F值达到90.8%。

基于双向长短期记忆神经网络的水平地应力预测方法

水平地应力是井壁稳定分析和水力压裂改造的关键基础参数,但深部地层地质环境复杂且隐蔽,使得水平地应力的准确快速预测难度较大。考虑到传统测井解释和神经网络模型难以描述测井数据与地应力之间的空间相关性,提出采用一种基于双向长短期记忆神经网络(BiLSTM)的水平地应力预测方法;以四川盆地CL气田两口直井为例,将两口直井分别作为训练井和测试井,通过训练井建立测井参数与地应力之间的非线性映射关系,实现对测试井水平地应力的预测;结合测井参数相关性和实际地质含义,分析了不同测井参数组合模式下水平地应力的预测效果。研究结果表明:(1)对比测井解释和岩心差应变测试结果发现,垂向地应力测井解释误差为0.39%,最大水平地应力测井解释误差为0.18%~0.64%,最小水平地应力测井解释误差为0.29%,说明测井解释与实际地应力吻合较好;(2)工区地应力大小排序为垂向地应力>最大水平地应力>最小水平地应力,属于潜在正断层应力状态;(3)水平地应力与垂深、密度和自然伽马呈较强的正相关关系,与纵波时差、井径、补偿中子和横波时差呈负相关关系;(4)不同的测井参数组合对水平地应力的预测效果不同,其中最优的测井参数组合为垂深、井径、密度、补偿中子、自然伽马、纵波时差;(5)通过正交设计实验,确定了最优超参数取值方案,其预测得到的最大和最小水平地应力平均绝对百分比误差分别为0.48‰和0.50‰。结论认为,BiLSTM模型能够有效捕捉测井参数随深度的变化趋势和测井参数的前后关联信息,可以实现水平地应力的精准预测。

基于双向长短期记忆神经网络的老挝语分词方法

作为语言最小独立运行且有意义的单位,将连续型的老挝语划分成词是非常有必要的。提出一种基于双向长短期记忆BLSTM神经网络模型的老挝语分词方法,使用包含913 487个词的人工分词语料来训练模型,将老挝语分词任务转化为基于音节的序列标注任务,即将老挝语音节标注为词首(B)、词中(M)、词尾(E)和单独成词(S)4个标签。首先将老挝语句子划分成音节并训练成向量,然后把这些向量作为BLSTM神经网络模型的输入来预估该音节所属标签,再使用序列推断算法确定其标签,最后使用人工标注的分词语料进行实验。实验表明,基于双向长短期记忆神经网络的老挝语分词方法在准确率上达到了87.48%,效果明显好于以往的分词方法。

基于双向长短期记忆神经网络的岩相预测方法

介绍一种基于双向长短期记忆神经网络(Bi-directional long short-term memory,Bi-LSTM)的岩相预测方法,综合利用测井和地震数据进行高效准确的岩相预测。通过合成地震记录,进行井震数据的时深匹配,以地震吸收衰减数据、纵波阻抗、密度和伽马拟声波阻抗作为输入,以岩相作为标签,通过Bi-LSTM模型训练建立输入数据与岩相的非线性映射关系。将该方法应用于四川某浅层河道砂体勘探区岩相预测,结果表明,基于Bi-LSTM构建的岩相预测方法优于普通循环神经网络和普通LSTM,能够快速确定地下岩相,有效指示河道。基于Bi-LSTM的岩相预测方法能有效提取输入数据与岩相信息的非线性映射关系,对少井地区的岩相预测工作有较高的实用价值。

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解(CEEMDAN)技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆(BiLSTM)神经网络模型和一维卷积神经网络(1DCNN)模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络(SENet)模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。

基于Softmax函数增强卷积神经网络—双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,需要准确识别和判断交通状态。基于道路自身的自由流速度,将具有不同速度等级的街道统一以旅行时间指数(travel time index, TTI)作为拥堵评价,相较于以车辆速度为基准的传统预测方法更能表现出道路的拥堵状态。提出了一种改进的深度学习预测模型(CS-BiLSTM),该模型基于卷积神经网络(convolutional neural networks, CNN)和双向长短期记忆(bidirectional long short-term memory, BiLSTM),并结合Softmax函数增强CNN提取出的交通空间特征信息。最后以成都市出租车的全球定位系统(global positioning system, GPS)数据进行验证。结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比CNN-BiLSTM网络预测框架提升了13%。

基于DBO-VMD和IWOA-BILSTM神经网络组合模型的短期电力负荷预测

新能源在现代电力系统中占比不断提高,其负荷不规律性、波动性远大于传统电力系统,这就导致负荷预测精度不高。针对这个问题,提出了蜣螂优化(dung beetle optimizer,DBO)算法优化变分模态分解(variational mode decomposition,VMD)与改进鲸鱼优化算法优化双向长短期记忆(improved whale optimization algorithm-bidirectional long short-term memory,IWOA-BILSTM)神经网络相结合的短期负荷预测模型。首先利用DBO优化VMD,分解时间序列数据,并根据最小包络熵对各种特征数据进行分类,增强了分解效果。通过对原始数据进行有效分解,降低了数据的波动性。然后使用非线性收敛因子、自适应权重策略与随机差分法变异策略增强鲸鱼优化算法的局部及全局搜索能力得到改进鲸鱼优化算法(improved whale optimization algorithm,IWOA),并用于优化双向长短期记忆(bidirectional long short-term memory,BILSTM)神经网络,增加了模型预测的精确度。最后将所提方法应用于某地真实的负荷数据,得到最终相对均方根误差、平均绝对误差和平均绝对百分比误差分别为0.0084、48.09、0.66%,证明了提出的模型对于短期负荷预测的有效性。

基于长短期记忆神经网络的深水钻井工况实时智能判别模型

深水钻井具有高投入、高风险等特点,其工况实时判别是提高钻井时效、减少复杂事故的基础和前提。传统深水钻井作业中,钻井工况主要通过基于编程方式的物理模型与经验模型进行判别,难以保证时效性和正确率。为此,创新性地将机器学习引入深水钻井工况判别全流程,考虑综合录井数据的长时间序列特征,基于长短期记忆神经网络建立了深水钻井工况实时智能判别机器学习模型。通过对29856140行深水综合录井数据预处理,选取钻头深度、井深、大钩高度、钻压、悬重、扭矩、转速、立管压力,共计8个综合录井参数作为输入特征,建立了20隐藏层×70节点的长短期记忆神经网络模型,实现了旋转钻进、滑动钻进、接单根、静止、循环、向下洗井、划眼、向上洗井、倒划眼、起钻、下钻及“其他”,共计12种常见深水钻井工况的实时智能判别,测试集上正确率高达94.09%,满足深水现场作业需求。该模型可实时智能地判别钻井工况,充分验证了长短期记忆神经网络用于钻井工况实时智能判别的可行性与时效性,为钻井时效分析和复杂事故预警提供了机器学习模型基础,并将进一步拓展机器学习在石油工程领域的应用范围。

基于时空注意力机制的双向长短期记忆神经网络的股指预测研究

股票市场是一个高噪音的混沌系统,其外部属性之间的相关性问题以及在长期预测时外部影响对股价波动的加剧,导致对股票市场进行准确预测是一项富有挑战性的工作。为解决上述问题,本文利用基于注意力机制的双向长短期记忆神经网络(BiLSTM)对香港地区恒生指数收盘价进行有效性的实证检验。其中,空间注意力机制用于捕捉输入指标之间的相关性并为其赋予区别权重,时间注意力机制用于描述数据的时间相关性以解决长期预测中的时间依赖问题并为时间步赋予区别权重,BiLSTM神经网络用于拟合数据并构建预测模型。本文还比较了四种基于注意力机制的神经网络方法和六种基线方法,实验结果表明,与当下流行的股票指数预测方法相比,基于双维度注意力机制的BiLSTM可以在短、中、长期预测中均实现更准确的股票指数收盘价预测。

基于双向多层门控循环神经网络的奶牛乳脂率预测模型研究

通过对奶牛乳脂率进行数据预测以及结合随机森林算法对环境数据进行精准特征选择,确定了对乳脂率影响较大的环境因素。在此基础上,提出了将随机森林算法与双向多层门控循环神经网络相结合的乳脂率预测模型(RF-BiGRU)并进行了相关实验。结果表明,该模型能够提高预测的准确性及效率。

基于卷积双向长短期神经网络的调制方式识别

针对现有卷积神经网络方法下调制识别时间较长、网络较复杂等问题,将卷积神经网络(Convolutional Neural Networks,CNN)与双向长短期记忆神经网络(Bi-directional Long Short-Term Memory,BiLSTM)相结合,提出一种基于CNN-BiLSTM的调制方式识别方法。利用CNN卷积运算提取信号的空间特征,利用BiLSTM提取到信号的时序相关性,利用softmax层输出识别概率,达到多调制识别的目的。实验结果表明,在没有信道和噪声等先验信息的条件下,该方法的识别性能得到了进一步提升,能有效识别16QAM、64QAM等11种调制类别,且该方法的复杂度较低,大大节省了训练识别时间,具有较好的工程应用价值。

基于双向长短期记忆神经网络的配网电压异常数据检测

受自然环境、计量仪器等影响,量测数据会出现异常,导致调度人员错误决策,威胁电力系统安全稳定运行。为保障电力系统安全稳定运行,提出了一种基于双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)神经网络的配网电压无监督异常数据检测方法。利用Bi-LSTM神经网络处理时序数据的双向特性,建立时序预测模型,通过对比预测值和实际值的误差检测异常数据。最后,基于某实际配网电压数据进行仿真验证,仿真结果表明:所提方法在准确率、F1分数等指标方面均优于决策树、K近邻、支持向量机、长短期记忆(long short-term memory,LSTM)神经网络。