基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于残差神经网络、双向长短期记忆网络和注意力机制的肠鸣音检测方法研究

肠鸣音可以反映胃肠道的运动和健康状况,然而,传统的人工听诊方式存在主观性偏差且耗时耗力。为了更好地辅助医生对肠鸣音的诊断,提高肠鸣音检测的可靠性和高效性,该研究提出了一种结合残差神经网络(ResNet)、双向长短期记忆网络(BiLSTM)和注意力机制的深度神经网络模型。首先使用自主研发的多通道肠鸣音采集系统采集了大量带标签的临床数据,采用多尺度小波分解和重构方法对肠鸣音信号进行预处理,然后提取对数梅尔谱图特征送入网络进行训练,最后通过10折交叉验证和消融实验来评估模型的性能和验证其有效性。实验结果表明,该模型在精确率、召回率和F1分数方面分别达到了83%、76%和79%,能够有效地检测出肠鸣音片段并定位其起止时间,表现优于以往的算法。该算法不仅可以为医生在临床实践中提供辅助信息,还为肠鸣音的进一步分析和研究提供了技术支撑。

基于贝叶斯优化-卷积神经网络-双向长短期记忆神经网络的锂电池健康状态评估

准确估计电池健康状态是设备稳定运行的关键。针对当前健康状态研究中容量难以直接测量、估计模型调参费时等问题,提出基于多健康特征的贝叶斯优化(BO)算法优化卷积神经网络(CNN)与双向长短期记忆(BiLSTM)神经网络预测模型。基于NASA公开锂电池数据,提取3种健康特征。将CNN与BiLSTM结合,提高时间序列数据处理能力,加入BO算法自动搜寻最优参数集,避免组合网络模型陷入局部最优,从而减少评估时间。对比分析相关神经网络模型,结果表明所提方法预测准确度最高,可有效估计锂电池的健康状态,平均绝对误差和方均根误差均在1%以内。

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。

基于时空注意力机制的双向长短期记忆神经网络的股指预测研究

股票市场是一个高噪音的混沌系统,其外部属性之间的相关性问题以及在长期预测时外部影响对股价波动的加剧,导致对股票市场进行准确预测是一项富有挑战性的工作。为解决上述问题,本文利用基于注意力机制的双向长短期记忆神经网络(BiLSTM)对香港地区恒生指数收盘价进行有效性的实证检验。其中,空间注意力机制用于捕捉输入指标之间的相关性并为其赋予区别权重,时间注意力机制用于描述数据的时间相关性以解决长期预测中的时间依赖问题并为时间步赋予区别权重,BiLSTM神经网络用于拟合数据并构建预测模型。本文还比较了四种基于注意力机制的神经网络方法和六种基线方法,实验结果表明,与当下流行的股票指数预测方法相比,基于双维度注意力机制的BiLSTM可以在短、中、长期预测中均实现更准确的股票指数收盘价预测。

基于双向长短期记忆循环神经网络和条件随机场的钻井工况识别方法

传统钻井作业中,钻井工况主要通过基于机理模型与人工判断的方法进行识别,无法保证钻井工况识别的实时性与精准度。为此,采用近年来热门的人工智能算法,将井深与钻头位置的差、钻头位置、井深、大钩高度、大钩载荷、转速、钻压、扭矩、排量共9项钻井参数作为输入特征项,训练调优并建立了基于双向长短期记忆循环神经网络和条件随机场的钻井工况智能识别模型,对复合钻进、滑动钻进、上提开泵划眼、下放开泵划眼、静止、坐卡、原地循环等共计20种钻机动态进行实时智能识别,训练集、测试集的正确率分别为96.49%、97.23%。该模型的成功建立,验证了人工智能算法的优越性,为人工智能算法在钻井工程领域的后续应用提供了丰富经验。

一种基于双向长短期记忆神经网络的Web攻击检测

当前,网络空间安全形势日益严重,这是因为网络攻击手段层出不穷。其中,跨站脚本(cross-site scripting,XSS)攻击和结构化查询语言(structured query language,SQL)注入攻击是2种较为常见的网络攻击方式。由于它们的有效载荷样式多样,导致传统的基于规则的检测以及基于特征的机器学习难以对其进行检测。为了提高对Web攻击的检测效果,降低人工提取特征的繁杂度,提出了一种基于双向长短期记忆神经网络的Web攻击检测方法:使用字符向量化提取Web攻击有效特征的序列,并映射到特征向量,嵌入向量到神经网络中,然后使用双向长短期记忆递归神经网络训练和测试模型。结果表明,该检测方法在真实数据集中的检测准确率达到99.35%,召回率达到99.49%,可以同时检测XSS攻击和SQL注入攻击。证明了这种基于深度学习的检测方法可以较大规模地应用于Web攻击感知平台中。

一种在线医疗社区问答文本实体识别方法——基于卷积神经网络和双向长短期记忆神经网络

针对在线医疗社区问答文本复杂程度高、结构化程度低的特点,结合卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)两种深度学习模型以及条件随机场(CRF)模型,提出一套适用于在线医疗问答文本的实体识别方法并进行验证。将问答文本进行清洗和BIO标注后,分别用CNN和BiLSTM进行字级别的特征抽取,将通过两种模型抽取到的特征进行融合后放入CRF中训练出实体预测模型,再将问答文本放入训练好的模型中,得到最终的实体识别结果。以关于乳腺癌疾病问答文本为例,研究结果表明,运用该方法得到的识别结果优于其他模型,且识别准确率达到92.3%、召回率达到89.3%、F值达到90.8%。

基于双向长短期记忆神经网络的水平地应力预测方法

水平地应力是井壁稳定分析和水力压裂改造的关键基础参数,但深部地层地质环境复杂且隐蔽,使得水平地应力的准确快速预测难度较大。考虑到传统测井解释和神经网络模型难以描述测井数据与地应力之间的空间相关性,提出采用一种基于双向长短期记忆神经网络(BiLSTM)的水平地应力预测方法;以四川盆地CL气田两口直井为例,将两口直井分别作为训练井和测试井,通过训练井建立测井参数与地应力之间的非线性映射关系,实现对测试井水平地应力的预测;结合测井参数相关性和实际地质含义,分析了不同测井参数组合模式下水平地应力的预测效果。研究结果表明:(1)对比测井解释和岩心差应变测试结果发现,垂向地应力测井解释误差为0.39%,最大水平地应力测井解释误差为0.18%~0.64%,最小水平地应力测井解释误差为0.29%,说明测井解释与实际地应力吻合较好;(2)工区地应力大小排序为垂向地应力>最大水平地应力>最小水平地应力,属于潜在正断层应力状态;(3)水平地应力与垂深、密度和自然伽马呈较强的正相关关系,与纵波时差、井径、补偿中子和横波时差呈负相关关系;(4)不同的测井参数组合对水平地应力的预测效果不同,其中最优的测井参数组合为垂深、井径、密度、补偿中子、自然伽马、纵波时差;(5)通过正交设计实验,确定了最优超参数取值方案,其预测得到的最大和最小水平地应力平均绝对百分比误差分别为0.48‰和0.50‰。结论认为,BiLSTM模型能够有效捕捉测井参数随深度的变化趋势和测井参数的前后关联信息,可以实现水平地应力的精准预测。

基于双向长短期记忆神经网络的老挝语分词方法

作为语言最小独立运行且有意义的单位,将连续型的老挝语划分成词是非常有必要的。提出一种基于双向长短期记忆BLSTM神经网络模型的老挝语分词方法,使用包含913 487个词的人工分词语料来训练模型,将老挝语分词任务转化为基于音节的序列标注任务,即将老挝语音节标注为词首(B)、词中(M)、词尾(E)和单独成词(S)4个标签。首先将老挝语句子划分成音节并训练成向量,然后把这些向量作为BLSTM神经网络模型的输入来预估该音节所属标签,再使用序列推断算法确定其标签,最后使用人工标注的分词语料进行实验。实验表明,基于双向长短期记忆神经网络的老挝语分词方法在准确率上达到了87.48%,效果明显好于以往的分词方法。

基于双向长短期记忆神经网络的岩相预测方法

介绍一种基于双向长短期记忆神经网络(Bi-directional long short-term memory,Bi-LSTM)的岩相预测方法,综合利用测井和地震数据进行高效准确的岩相预测。通过合成地震记录,进行井震数据的时深匹配,以地震吸收衰减数据、纵波阻抗、密度和伽马拟声波阻抗作为输入,以岩相作为标签,通过Bi-LSTM模型训练建立输入数据与岩相的非线性映射关系。将该方法应用于四川某浅层河道砂体勘探区岩相预测,结果表明,基于Bi-LSTM构建的岩相预测方法优于普通循环神经网络和普通LSTM,能够快速确定地下岩相,有效指示河道。基于Bi-LSTM的岩相预测方法能有效提取输入数据与岩相信息的非线性映射关系,对少井地区的岩相预测工作有较高的实用价值。

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解(CEEMDAN)技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆(BiLSTM)神经网络模型和一维卷积神经网络(1DCNN)模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络(SENet)模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。

基于Softmax函数增强卷积神经网络—双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,需要准确识别和判断交通状态。基于道路自身的自由流速度,将具有不同速度等级的街道统一以旅行时间指数(travel time index, TTI)作为拥堵评价,相较于以车辆速度为基准的传统预测方法更能表现出道路的拥堵状态。提出了一种改进的深度学习预测模型(CS-BiLSTM),该模型基于卷积神经网络(convolutional neural networks, CNN)和双向长短期记忆(bidirectional long short-term memory, BiLSTM),并结合Softmax函数增强CNN提取出的交通空间特征信息。最后以成都市出租车的全球定位系统(global positioning system, GPS)数据进行验证。结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比CNN-BiLSTM网络预测框架提升了13%。

基于DBO-VMD和IWOA-BILSTM神经网络组合模型的短期电力负荷预测

新能源在现代电力系统中占比不断提高,其负荷不规律性、波动性远大于传统电力系统,这就导致负荷预测精度不高。针对这个问题,提出了蜣螂优化(dung beetle optimizer,DBO)算法优化变分模态分解(variational mode decomposition,VMD)与改进鲸鱼优化算法优化双向长短期记忆(improved whale optimization algorithm-bidirectional long short-term memory,IWOA-BILSTM)神经网络相结合的短期负荷预测模型。首先利用DBO优化VMD,分解时间序列数据,并根据最小包络熵对各种特征数据进行分类,增强了分解效果。通过对原始数据进行有效分解,降低了数据的波动性。然后使用非线性收敛因子、自适应权重策略与随机差分法变异策略增强鲸鱼优化算法的局部及全局搜索能力得到改进鲸鱼优化算法(improved whale optimization algorithm,IWOA),并用于优化双向长短期记忆(bidirectional long short-term memory,BILSTM)神经网络,增加了模型预测的精确度。最后将所提方法应用于某地真实的负荷数据,得到最终相对均方根误差、平均绝对误差和平均绝对百分比误差分别为0.0084、48.09、0.66%,证明了提出的模型对于短期负荷预测的有效性。

基于分组双阶段双向卷积长短期方法的高光谱图像超分辨率网络

文章提出基于分组的双阶段Bi-ConvLSTM网络(GDBN),可以充分利用图像的空间和光谱信息,通过使用以波段为单位的分组策略,有效缓解了计算负担,并对光谱信息进行保护。在编码器的不同阶段,对浅层信息提取模块和深度特征提取模块进行不同层次信息的提取,浅层信息提取模块能够对不同尺度的浅层特征信息进行充分捕捉,深度特征提取模块能够捕捉图像的高频特征信息。文章还引入通道注意力机制,增强网络对特征的组织能力,并在自然数据集cave上进行大量实验,效果普遍优于目前主流的深度学习方法。

基于双向长短期记忆神经网络的配网电压异常数据检测

受自然环境、计量仪器等影响,量测数据会出现异常,导致调度人员错误决策,威胁电力系统安全稳定运行。为保障电力系统安全稳定运行,提出了一种基于双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)神经网络的配网电压无监督异常数据检测方法。利用Bi-LSTM神经网络处理时序数据的双向特性,建立时序预测模型,通过对比预测值和实际值的误差检测异常数据。最后,基于某实际配网电压数据进行仿真验证,仿真结果表明:所提方法在准确率、F1分数等指标方面均优于决策树、K近邻、支持向量机、长短期记忆(long short-term memory,LSTM)神经网络。

基于变分模态分解与双向长短期记忆神经网络的超短期风速预测

风速预测对于风电机组稳定运行,提高电力系统稳定性有着重要的意义。针对风速序列具有随机性、波动性大的特点,提出一种基于分解组合算法的风速超短期预测模型。采用变分模态分解算法将风速原始序列分解为若干平稳子序列,再利用优化的双向长短期记忆神经网络对子序列建立预测模型,最终组合得到预测结果。通过实例分析并与其他模型对比表明,该模型能够有效提高风速超短期预测精度。

融合文本图卷积神经网络与注意力机制的唐诗情感分析

针对目前唐诗情感分析任务的语义提取不充分、数据集不完善的问题,构建了一个全新的唐诗情感分类数据集且进一步细化了情感极性,提出了一种融合文本图卷积神经网络与注意力机制(text-graph convolutional neural networks with attention mechanism,AM-Text-GCN)的情感分类模型。模型首先结合双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)和注意力机制捕捉唐诗中的上下文信息和诗句间的语义特征,然后利用融入依存句法分析的2层文本图卷积神经网络在图卷积操作中聚合唐诗全局特征,最终输出唐诗的情感极性。结果表明,所提出模型的S F1值达了79.83%,相较于文本图神经网络的S F1值提高了5.46%,有效地提高了唐诗情感分析的准确性。该研究对于探索诗词情感在历史变迁中的作用具有重要意义和广泛的应用前景。

基于卷积双向长短期神经网络的调制方式识别

针对现有卷积神经网络方法下调制识别时间较长、网络较复杂等问题,将卷积神经网络(Convolutional Neural Networks,CNN)与双向长短期记忆神经网络(Bi-directional Long Short-Term Memory,BiLSTM)相结合,提出一种基于CNN-BiLSTM的调制方式识别方法。利用CNN卷积运算提取信号的空间特征,利用BiLSTM提取到信号的时序相关性,利用softmax层输出识别概率,达到多调制识别的目的。实验结果表明,在没有信道和噪声等先验信息的条件下,该方法的识别性能得到了进一步提升,能有效识别16QAM、64QAM等11种调制类别,且该方法的复杂度较低,大大节省了训练识别时间,具有较好的工程应用价值。

基于Bi-LSTM神经网络的短文本敏感词识别方法

为了准确识别与处理敏感词,针对分词时延较高、识别精度较低的问题,提出基于双向长短期记忆(Bi-LSTM)神经网络的短文本敏感词识别方法。分析敏感词库,将敏感词库划分为两大类、三个等级,预处理短文本干扰信息(特殊字符、繁体字与拆分汉字),引入Bi-LSTM神经网络构建短文本分词模型,二次训练确定最佳参数,反复计算词语的敏感性数值,通过敏感性对比函数,提取短文本敏感词,并匹配敏感词库,确定敏感词的类别与等级,实现短文本敏感词识别。实验结果表明:在不同实验组别下,应用本文方法获得的短文本分词时延均低于给定最大限值,短文本敏感词识别精度高于84.42%,应用性能较佳。